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从 力学 、 物 理学 、 天 文学 直到 化 学 、 生 物 学 、 经 济 
学 与 工程 技术 ， 无 不 用 到 数学 。 一 个 人 从 入 小 学 到 大 学 
毕业 的 十 六 年 中 ， 有 十 三 、 四 年 有 数学 课 。 可 见 数学 之 
重要 与 其 应 用 之 广泛 ， 

但 提起 数学 ， 不 少 人 仍 觉得 头 滴 ， 难以 入 门 ， 
望 而 生 县 。 我 以 为 要 克服 这 个 鸿沟 ， 还 是 有 可 能 的 。 近 
从 数学 难于 接 然 ， 原 因 之 一 大 要 是 由于 共管 号 、 语 当 与 
概念 陌生 ， 兼 之 近代 数学 的 高 度 抽 象 与 概括 ， 难 于 了 解 
与 掌握 。 我 想 ， 如 果 知 道 讨论 的 对 象 的 具体 背景 ， 则 有 
可 能 掌握 其 实质 。 显 然 ， 一 个 非 数学 专业 出 身 的 人 ， 要 
把 数学 专业 的 教科 书 都 自修 一 遍 ， 这 在 时 间 与 精力 -上 都 
不 易 做 到 。 若 停留 在 初等 数学 水 平 上 ， 哪 怕 做 了 很 多 难 
题 ， 似 亦 不 会 有 助 于 对 近代 数学 的 了 解 。 这 就 促使 我 们 
设想 出 一 套 “ 走 向 数学 ”小 丛书， 其 中 每 本 小 册子 尽量 
用 深入 浅 出 的 语言 来 讲述 数学 的 某 一 问题 或 方面 ， 使 工 
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程 技术 人 员 ， 非 数学 专业 的 大 学 生 ， 甚 至 具有 中 学 数学 
水 乎 的 人 ， 亦 能 懂得 书 中 全 部 或 部 分 含义 与 内 容 。 这 对 
提高 我 国人 民 的 数学 修养 与 水 平 ， 可 能 会 起 些 作用 。 显 
然 ， 要 将 一 门 数 学 深入 浅 出 地 讲 出 来 ， 决 非 吻 事 .首先 
要 对 这 门 数学 有 深入 的 研究 与 透彻 的 了 解 . 从 整体 上 说 ， 
我 国 的 数学 水 平 还 不 高 ， 能 否 较 好 地 完成 这 一 任务 还 难 
说 , 但 我 了 解 很 多 数学 家 的 积极 性 很 高 ,他 们 愿意 为 “ 走 
向 数学 ” 扎 稿 ， 这 很 值得 高 兴 与 欢迎 ， 

承蒙 国家 自然 科学 基金 委员 会 、 中 国 数学 会 数学 传 
播 委 员 会 与 潮 南 教育 出 版 社 支持 ， 得 以 出 版 这 套 “ 走 向 
数学 ”从 书 ， 谨 致 以 感谢 。 
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在 当代 社会 中 ， 信 息 和 信息 科学 这 两 个 名 词 已 为 人 们 岂 熟 
知 。 它 们 的 重要 作用 也 正在 被 人 们 所 接受 ,但 究竟 什么 是 信息 ? 
什么 是 信息 科学 ? 信息 到 底 能 否 度量 ? 怎样 度量 ? 对 这 些 问 题 
人 们 往往 不 十 分 清楚 ， 从 最 广义 的 情形 来 说 ， 这 些 问 题 涉 及 到 
信息 的 哲学 解释 与 哲学 地 位 。 在 本 书 中 ， 我 们 不 打算 讨论 这 种 
一 般 性 的 问题 ， 而 是 试图 介绍 几 种 关于 信息 度量 的 比较 成天 的 
定义 形式 ， 以 及 它们 的 产生 过 程 、 性 质 与 应 用 。 我 们 希望 ， 通 
过 这 些 讨论 可 以 帮助 人 们 理解 有 关 信息 、 信 息 的 度量 与 信息 科 
学 的 内 容 与 意义 ， 以 及 它们 的 概念 特征 与 应 用 范围 。. 

由 于 信息 概念 的 广泛 性 ， 试 图 对 信息 的 一 般 形 式 进行 度量 
是 十 分 困难 的 。 本 世纪 20 年 代 ， 奈 奎 斯 特 ( 王 .Nyquist) 与 哈 特 
菜 (L,Hartley) 就 已 指出 了 信息 度量 与 通信 理论 的 关系 ,以 及 它 
们 与 概率 、 对 数 函 数 的 联系 。1948 年 在 仙 农 (CC.E.Shannon) 的 
著名 论文 4 通信 的 数学 理论 ?中 ， 对 信息 的 度量 、 通 信 中 的 编码 
问题 给 出 了 一 系列 确切 的 分 析 与 论述 ， 这 些 论 述 在 以 后 的 理论 
发 展 中 得 到 了 充分 的 证 实 与 应 用 。 因 此 ， 人 们 往往 把 信息 论 的 
产生 与 仙 农 的 工作 相 联 系 ， 有 关 仙 农 所 引进 的 信息 度量 被 次 为 
但 农 炳 ， 而 相应 的 编码 理论 被 称 为 仙 农 信息 论 。 
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但 农 炳 在 信息 度量 中 的 成 功 不 仅 在 于 它 忆 具 有 明确 的 内 在 售 
总 与 严格 的 数学 表达 ， 而 且 它 能 确切 地 刻 划 出 通信 中 的 一 系列 
本 质 特征 。 如 由 仙 农 炳 确定 的 信号 体积 等 概念 就 是 信 源 在 通信 
中 的 一 种 本 上 质 特征 ， 又 如 由 它 派生 的 交互 信息 与 信道 容量 反映 
了 通信 信道 的 基本 特征 。 由 仙 农 炳 所 确定 的 信息 度量 单位 一 
特 " 已 是 通信 理论 与 计算 机 科学 中 的 一 个 基本 单位 。 

由 于 信息 概念 的 广泛 性 ， 关 于 信息 度量 的 推广 与 一 般 形式 
的 表达 问题 的 探讨 一 直 是 人 们 密切 关心 的 一 个 重大 问题 ， 任 何 
新 的 度量 形式 出 现 都 会 导致 新 的 信息 科学 的 学 科 分 支出 现 。 除 
了 由 但 农 精 及 其 派生 或 推广 的 信息 度量 之 外 ， 还 可 有 与 仙 农 炳 
有 完全 不 同 出 发 点 的 其 它 信息 度量 。 例 如 算法 信息 论 中 的 柯 尔 
莫 各 洛 夫 (Kolmogorov) 复杂 性 等 。 因此， 我 们 对 信息 度量 的 
理解 不 仅 要 从 它们 的 引进 来 源 来 理解 ， 更 重要 的 是 要 从 这 些 量 
的 应 用 特征 来 理解 ， 这 样 就 可 使 我 们 更 好 地 罕 握 与 应 用 信息 度 
量 的 工具 。 

本 书 的 主要 目的 就 是 基 记 介绍 几 种 主要 的 信息 量 及 它们 所 
涉 一 些 分 支 学 科 ， 尤其 对 仙 农 粹 及 其 有 关 的 信 源 、 信 道 编 码 慌 
论 作 较为 完整 的 叙述 。 为 了 适合 读者 的 不 同 要 求 ， 我 们 对 比较 
专门 的 内 容 章 、 节 用 星 号 注 明 ， 对 此 可 以 省 略 不 读 ， 而 不 影响 
对 全 书 基 本 内 容 的 理解 。 另 外 ,本 书 的 参考 文献 将 按 专题 列 出 ， 
有 兴趣 的 读者 可 再 深入 学 习 了 解 。 

具有 初步 微分 学 与 梳 率 论 知 识 的 读者 均 可 阅读 本 书 。 一 蔚 
微分 学 与 概率 论 中 的 基本 知识 与 名 词 概念 ， 如 什么 是 集合 ， 集 
合 之 间 的 相互 关系 与 交 、 并 、 差 、 积 运算 ,集合 之 间 的 映射 (或 
变 换 ) 等 ， 又 如 对 数 、 指 数 函 数 ， 导 数 与 极 值 ， 最 大 、 最 小 值 
问题 ， 及 概率 论 中 的 随机 试验 ， 随 机 事件 ， 随 机 变量 ， 概 率 ， 
概率 分 布 ， 概 率 密度 ， 均 值 与 方差 等 等 ， 对 这 些 概 念 名 词 我 们 
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不 再 一 一 解释 ， 希 望 读 者 参考 有 关 知 识 材料 。 
作者 感谢 中 国 数 学 会 传播 委员 会 及 湖南 教育 出 版 社 对 本 书 
写作 出 版 的 支持 与 帮助 。 


沈 世 馆 


1991 年 12 月 25 日 


有 关 记 号 


N={1, 2, 1, #4}, ME={1, 2, .…, Im)}, 
4E = {1，2，…，m’}， 部 分 自然 数 集合 ， 
人 二 {0， 土 1， 土 2，…})， 
4 ={0，1，2，…}， 整 数 与 非 负 整数 集 合 。 
GF(g)={0，1，…，49~~1}; 4q- 值 的 有 限 域 . 
人 ， 吾 ， 下 ， Y, "VU, VV, WW. 集合 记号 ， 或 称 为 
. 字母 表 。 
及 x 时， 有 怪 ， 的 乘积 空间 . 
4a，6，x，y， 分别 为 集合 碟 ， 召 ， 蛋 ， 时 中 的 元 素 ,或 称 
为 字母 。 
也 ，Y，Z， 分别 取 值 于 不， YY， 名 中 的 随机 变量 。 
p(z) 一 P.{ 和 =z}， 随 机 变量 苇 取 值 为 z 的 概率 。 
q(y) 二 P,{Y 一 y}， 随 机 变量 Y 取 值 为 y 的 概率 . 
p(x,，y)=P,{X=x，Y=y}， 随 机 变量 (XX ，Y) 取 值 为 
(x，y) 的 概率 ， 
PCz/y)=P,{X=x/Y ==y} ;随机 变量 了 在 Y 取 值 为 y 的 条 件 
下 取 值 为 的 条 件 概 率 . 
4q(y/7)=P,{Y =y/ 下 二 x}: 随机 变量 Y 在 XX 取 值 为 ?的 条 件 ， 
下 取 值 为 y 的 条 件 概 率 。 
pi; 王 Pr{XX= 订 ， 随 机 变量 X 取 值 为 的 概率 。 
qi 二 P.{Y = 四， 随机 变量 了 取 值 为 j 的 概率 . 
pi,; 二 P{X=i, Y= 力 ， 随 机 变量 (XY，Y) 取 值 为 (i， 站 
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的 概率 . 
Diy; =P,{ 和 =i/Y= 人 办， 在 Y 取 值 为 的 条 件 下 ， 斑 取 值 为 
i 的 条 件 概率 . 
qj =P,{Y 二 j/X= 让 }， 在 取 什 为 i 的 条 件 下 ，Y 取 值 为 
. j 的 条 件 概率 。 
pC。)=(pCX)，XE 有 怪 ) 或 "==《p1, …，Pn): 
在 在 或 阻 中 取 值 的 离散 随机 变量 X 的 概率 分 布 。 
gC + )=(gCy), VEY) 或 4"' = (qi1, ,dn ): 
在 YY 或 台 ' 中 取 值 的 离散 随机 变量 了 的 概率 分 布 。 
pe =CpCz，)，2XE 塞 ，YE) 或 pm"'"' =(Di,is 
1iEN，jEN')， 怪 XY 或 胆 x 大 上 的 概率 分 布 。 
， "= TI I,, 可 1，…， 下 ,的 滋 积 空间 ， 
四 ,一 可 ,一 1 …，m。 
z= (zi，…，z)， 蛙 "中 的 元 ,或 下 上 取 值 的 *- 维 向 量 ， 
"= 二 (1, ,): 下 "上 取 值 的 随机 变量 ， 或 辟 (= 是 
上 取 值 的 *- 维 随机 向 量 ， 
pz 二 P,{X"=x"}， 随 机 向 量 X" 取 值 为 x" 的 概率 ， 
WW",y", Y",q(y"’). 与 到 "，z"， 玉 "， pC《7x") 类 似 定义 。 
log(z)，jln(Cz)， 对 数 函 数 ， 分 别 以 2，e 为 底数 ， 
exp:(z)，exp(z)， 指 数 函 数 ， 分 别 以 2，e 为 底数 。 
h[p(z)]= -~ log[p(z)] 或 RCpD = -IlogpispGz) 
或 p, 的 炉 密 度 。 
HCX)= - 5 px)logp(z) 或 HCX)= - pilogpit 


和 所 其 


随机 变量 (分 别 在 下 或 玛 上 取 值 ? 的 炳 
h[LpCz/y)j= -1og[PCz/ 罗 ] 或 MP )= ~ 10gPilis 
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P(x/y) 或 p;,; 的 条 件 炉 密度 。 
HCX/Y)=- 六 之 pCx, y)logp(x/y) 
或 


HC(X/Y) = — > Bo, i logpi1; :随机 变量 X 关 于 Y 的 条 


件 箭 . 
pz[a(Cy/z)]= -log[a(y/x)] 或 PCqir )= ~10ggj/ 
q(y/z) 或 qi1; 的 条 件 炉 密度 ， 


H(Y/X)=~ > Bp(x, ylogqCy/zx) 


EX yEY 


或 
H(Y/X)= -5 Tp,, logq 1; : 随机 变量 Y 关 于 蕊 的 条 
加 件 炳 . 
IC = 习习 pr Vlog eee 随机 变量 全 ，Y 
的 交互 信息 ， 
im， 力 =log 一 PSz，2) 随机 变量 下 ,的 交互 信息 密度 。 


PX) » q(y) 
jeCz)， 下 一 ET， 从 下 到 朴 的 编码 函数 ， 
9p(V)， VV 一 YY， 从 要 到 入 的 译 码 函数 ，。 
F(z)，P(x)，Q(z)， 随 机 变量 了 的 分 布 函 数 ， 这 时 
F(x)=P(x)=Q(7)=P,{X<7r)}. 
f(z)，pLz)，q(x)， 连 续 型 分 布 函 数 的 分 布 密度 ， 这 时 
fr) =dF(x) /dzx, pC7) =dP(x) /dr, 
q(x) =dQ(7) /dz, 
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8 1.1 仙 农 信息 论 的 产生 ,发 展 与 应 用 


1. 信 息 论 的 形成 与 发 展 

信息 的 概念 是 一 个 十 分 广泛 的 概念 ， 有 的 哲学 家 甚至 把 它 
看 作客 观 世 界 中 有 别 于 物质 、 能 量 的 第 三 大 要 素 ， 并 把 它 看 作 
是 推动 当今 社会 文明 的 主要 因素 。 它 的 广泛 性 不 仅 涉及 到 人 类 
社会 的 各 个 领域 ， 而 且 在 生物 世界 也 都 离 不 开 信息 的 交流 。 从 
动物 之 间 的 各 种 动作 交流 到 细胞 的 遗传 生长 都 有 信息 的 存在 与 
作用 。 

在 早期 的 人 类 社会 中 ， 人 们 的 信息 交流 主要 在 文字 、 语 育 
乃至 动作 表示 上 ， 当 时 就 有 利用 各 种 信号 包括 符号 来 传达 信息 
的 种 种 表现 (如 烽火 .鼓乐 等 等 ), 但 人 们 大 量 的 利用 信息 还 是 在 
电子 通信 与 计算 机 技术 出 现 之 后 ,为 了 提高 通信 的 质量 与 效率 ， 
人 们 往往 从 物理 与 数学 两 方面 出 发 来 进行 研究 考虑 。 在 物理 方 
面 ， 主 要 工作 是 改进 通信 的 物理 手段 与 条 件 ， 如 采用 微波 、 卫 
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星 ,激光 等 手段 使 适 信 方 式 发 生 革命 性 的 变化 ,同时 通过 对 频带 
与 信 噪 比 等 指标 的 改进 也 可 提高 通信 的 数量 与 质量 。 而 数学 的 
考虑 角度 则 是 在 信号 的 设计 构造 与 编 、 译 码 的 算法 上 .也 就 是 ， 
在 物理 设备 条 件 不 变 的 情况 下 ， 用 数学 的 方法 来 改进 通信 的 数 
量 与 质量 。 在 一 般 的 通信 问题 中 ， 数 量 与 质量 是 两 个 相互 制约 
且 可 相互 补偿 的 指标 。 这 样 在 保证 通信 质量 的 前 提 下 ， 如 何 伟 
送 最 多 的 信息 就 成 为 通信 理论 中 的 一 个 基本 问题 。 因 此 要 求 我 
们 在 数学 上 解决 一 系列 问题 ， 例 如 ， 如 何 确定 通信 中 信息 传递 
的 数量 与 质量 的 评估 标准 ,如 何在 保证 通信 质量 的 前 提 下 ,提高 
它 的 数量 问题 及 相应 的 计算 机 的 运算 实现 等 问题. 

在 本 世纪 20 年 代 ， 泰 村 斯 特 与 哈 特 莱 就 提出 了 解决 上 述 问 
题 的 一 系列 途径 ， 如 信息 传递 的 速率 与 带宽 成 比例 ， 信 息 的 度 
量 与 信号 的 概率 分 布 、 对 数 函 数 相 联系 等 等 ， 这 些 思想 为 以 后 
仙 农 信息 论 的 产生 打下 了 基础 ， 

至 本 世纪 40 年 代 , “控制 论 "的 疯 基 人 维 纳 〈N. Wiener)、 
美国 统计 学 家 费 希 尔 (E,Fisher) 与 仙 农 几乎 同时 提出 了 信息 度 
量 的 精 的 定义 形式 。 这 个 事实 说 明了 从 不 同 的 学 科 出 发 ， 都 会 
导致 信息 量 这 个 概念 的 产生 ，1948 年 , 仙 农 的 著名 论文 < 通信 的 
数学 理论 ;被 认为 是 信息 论 产生 的 匡 基 性 工作 ,因为 该 论文 不 仅 
对 这 种 信息 的 度量 作出 了 明确 的 描述 ， 而 且 成 功 地 利用 了 这 种 
信息 度量 解决 了 信 源 、 信 道 的 编码 问题 ,人 们 把 这 种 信息 的 度量 
称 为 仙 农 闹 ， 而 站 应 的 编码 理论 称 为 仙 农 信息 论 ， 仙 农 精 与 他 
农 信息 论 是 本 书 介绍 的 重点 ， 


2. 仙 农 信息 论 的 发 展 与 应 用 


自 1948 年 仙 农 信息 论 产 生 以 来 ， 由 于 电子 、 通 信和 与 计算 机 
技术 发 展 的 突飞猛进 ,信息 论 的 发 展 也 十 分 迅速 。 四 十 多 年 来 ， 
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该 理论 大 体 上 经 历 了 理论 的 确立 、 理 论 的 应 用 、 理 论 的 发 展 与 
近代 发 展 四 个 阶段 ， 从 而 大 大 丰富 了 该 理论 的 内 容 。 我 们 现在 
对 这 四 个 阶段 的 情况 作 一 简单 的 介绍 。 

理论 的 确立 阶段 大 体 上 是 从 40 年 代 来 到 60 年 代 初 。 在 这 十 
余年 的 时 间 里 ,大 量 的 工作 是 对 仙 农 的 疯 基 性 论文 :通信 的 数学 
理论 ;的 理解 、 解 释 与 分 析 。 昌 然 仙 农 的 工作 是 正确 、 完 整 的 ， 
但 是 当时 能 完全 读 懂 它 的 人 不 多 。 这 与 维 纳 的 < 控制 论 ;一 书 的 - 
情形 十 分 相似 。 因 此 ， 在 这 个 阶段 中 ， 许 多 工作 就 是 为 仙 农 论 
文 的 严格 表述 而 号、 例如， 关于 但 农 炳 的 公理 化 条 件 ， 关于 信 
源 、 信 道 编码 定理 的 数学 表达 及 通信 系统 的 描述 与 分 类 等 。 该 
阶段 基本 完成 的 标志 是 一 系列 专著 的 出 现 ， 如 苏联 科学 院 院士 
欣 钦 CA. 找 .Xmuan) 于 1956 年 , 美国 著名 的 信息 论 专家 范 恩 斯 坦 
CA.Feinstein), 人 徊 拉 格 尔 (R.G.Gallager) 分 别 于 1958 年 与 1968 
年 的 专著 的 出 版 等 。 这 些 著作 除了 把 仙 农 信息 论 的 内 容 体 系 给 
出 了 完整 的 叙述 之 外 ， 在 许多 方面 又 有 新 的 发 展 ， 如 有 记忆 信 
道 的 编码 理论 、 无 记忆 信道 的 编码 的 误差 界 理论 等 。. 

编码 理论 的 应 用 实现 几乎 与 仙 农 理论 并 行 发 展 ， 但 它 的 产 
生 历 史 更 里 些 ， 在 电子 通信 技术 产生 不 久 就 有 莫 尔 斯 (Morse) 
码 与 波多 (Bodo) 码 出 现 ， 它 们 把 字母 ,数字 与 一 串 点 、. 划 、 空 等 
电子 信号 对 应 ， 使 消息 能 够 通过 信号 发 送 ， 在 早期 电子 通信 中 
广泛 使 用 ,但 这 种 码 的 构造 比较 简单 ,不 具有 自我 纠 错 的 能 力 。 

自 50 年 代 开始 ， 由 于 通信 技术 的 发 展 ， 要 求 信号 对 干扰 具 
有 自身 的 保护 能 力 ， 这 就 导致 了 一 系列 新 的 纠 错 码 的 产生 。 这 
种 纠 错 码 在 仙 农 理论 的 指导 下 ， 综 合 代数 与 概率 、 统 计 的 理论 - 
与 方法 ， 应 用 群 ， 环 ， 域 等 工具 ， 对 码 进行 具体 构造 ， 并 且 利 
用 移 位 寄存 器 等 工具 ， 建 立 编 、 译 码 的 快速 算法 ， 使 这 些 纠 错 
码 的 理论 能 在 快速 通信 中 得 以 实现 ， 当 时 ， 著 名 的 信 源 编码 有 


“ 3 。 


贡 农 - 费 诺 (Shannon-Fano) 码 等 ， 而 信道 编码 有 汉 明 (R.W. 
Hamming) 码 .BCH 码 .R-S 码 、 戈 帕 (Goppa) 码 等 ， 著 名 的 译 码 
算法 有 卷 积 码 的 维特 比 (Viterbi) 译 码 算法 等 .这 些 编码 体制 已 
在 通信 工程 牢 广 泛 使 用 ， 成 为 当代 通信 工程 中 不 可 和 缺 少 的 一 个 
组 成 部 分 。 值 得 指出 的 是 编码 理论 的 发 展 方兴未艾 ， 纠 错 码 的 
应 用 范围 已 不 再 局 限 在 通信 工程 内 ， 在 计算 机 内 部 构造 ， 各 种 
光 、 电 、 磁 产品 (如 光盘 ， 磁 性 记忆 存储 器 ， 家 用 音 视 设 备 等 ) 
中 都 有 使 用 ， 办 此 编码 技术 在 日 、 美 、 西 欧 各 国 已 成 为 一 个 热 
门 的 行业 。 | 

70 年 代 ， 信 息 论 的 发 展 集中 在 多 用 户 信 息 论 与 率 失 真理 论 
两 大 方面 。 多 用 户 信 息 论 是 将 简单 的 单 用 户 通信 模型 发 展 成 多 
用 户 的 网 络 通信 模型 。 这 在 卫星 通信 系统 〈 通 信 了 卫星、 电视 卫 
是 等 ) 其它 电子 系统 中 有 广泛 的 应 用 背景 。 因 此 多 用 户 信息 论 
在 70 年 代 末 、80 年 代 初 形成 高 潮 ， 研 究 的 模型 有 数 十 种 之 多 。 
主要 信道 模型 有 多 址 信道 、 广 播 信道 、 有 边 信 息 信 道 、 有 反馈 
信道 、 转 播 信道 等 ， 多 用 户 信 源 编码 问题 有 无 噪声 多 重信 源 编 
码 问题 、 具 有 率 失 真 度 的 多 重信 派 编 码 问 题 ， 多 重信 源 与 多 路 
信道 结合 编码 问题 与 多 终端 编码 问题 等 。 

率 失真 理论 又 名 数据 压缩 或 数据 量化 的 数学 理论 ， 它 的 应 
用 背景 是 这 样 的 ， 为 了 复制 一 组 实用 信号 {如 映 、 视 图 象 ， 语 
音信 和 号， 图 、 文 印刷 等 ) ,可 有 一 定 的 误差 允许 存在 。 这 些 误差 
在 一 定 的 范围 内 不 影响 人 们 的 视 、 听 效果 ， 如 果 我 们 在 信号 复 
制 过 程 中 能 利用 这 些 多 许 误 差 ， 这 样 就 可 大 大 降低 信息 提取 中 
的 数据 量 。 这 在 工程 界 称 之 为 数据 压缩 或 数据 量化 问题 。 率 失 
真理 论 解决 了 失真 度 与 数据 压缩 量 之 间 的 函数 关系 ， 给 出 了 在 . 
信息 处 理 的 允许 误差 范围 内 的 最 小 信息 提取 要 求 ， 并 在 图 象 、 
语音 及 其 它 信 号 处 理 中 有 大 量 的 应 用 。 率 失真 理论 也 是 仙 农 信 
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息 论 的 一 个 典型 发 展 ， 率 失真 函数 的 计算 就 是 在 仙 农 焕 与 交 否 
信息 的 基础 上 建立 起 来 的 一 个 信 源 编码 理论 指标 ， 

自 80 年 代 末期 起 ， 信 息 论 、 仙 农 议 在 更 广泛 的 意义 上 得 到 
发 展 ， 它 的 主要 进展 有 仙 农 炉 与 算法 信息 论 . 分 形 几 何 的 结合 ， 
互 炳 与 统计 中 的 微分 流 形 方法 相 结 合 。 这 些 新 的 分 支 领域 大 大 
丰富 了 信息 论 的 发 展 范围 ， 也 使 我 们 看 到 了 仙 农 精 在 自然 科学 
中 有 更 广泛 的 应 用 与 含义 。 同 时 ,信息 论 的 观点 ,方法 与 结果 在 
密码 学 ， 量 子 信号 处 理 ， 光 、 磁 信息 处 理 等 领域 中 得 到 应 用 ， 
这 些 内 容 构 成 了 信息 科学 中 的 一 个 重要 部 分 。 对 这 些 分 支 内 容 
我 们 在 以 后 的 讨论 中 还 有 详 述 。 


$1.2 仙 农 炳 的 引进 与 
信息 度量 的 研究 状况 


了 1. 仙 农 炳 的 引进 


仙 农 粹 的 基本 概念 来 自 随 机 试验 (或 随机 变量 ) 的 不 肯定 
性 。 关 于 随机 试验 (或 随机 变量 ) 的 概念 在 概率 论 中 已 经 阐明 ， 
因此 我 们 重点 解释 随机 试验 的 不 肯定 性 。 

正如 概率 论 中 所 叙述 的 那样 ， 一 个 随机 试验 包含 有 两 个 因 
素 , 即 它 的 试验 可 能 有 多 种 结果 出 现 , 且 每 个 结果 的 出 现 具有 一 
定 的 可 能 性 大 小 或 概率 (有 的 书 中 称 为 几率 ), 如 果 可 能 出 现 的 
全 体 结果 是 有 限 或 可 数 的 ,那么 我 们 称 这 个 随机 试验 是 离散 的 。 
一 个 离散 的 随机 试验 或 随机 变量 可 以 用 站 =[ 下 ,PCz)] 来 表示 ， 
其 中 下 为 随机 试验 夸 的 全 体 可 能 出 现 的 结果 ， 它 的 元 素 zE 四 
为 踪 机 试验 的 基本 事件 ， 而 p(z) 为 在 随机 试验 瑟 中 ， 基 本 事件 
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ZY 出 现 的 概率 ， 以 下 记 

DC»)={pC7): ZE EI} 
为 随机 变量 全 的 概率 分 布 .如 层 二 肚 一 {1，2，…，m}( 有 时 用 
慑 = 和 1，2，…，mj)), 那么 祖 应 的 随机 试验 可 表示 为 
1 2 3 “0m 
(, pz Pss ***, Pn ). 

一 个 随机 试验 的 概率 分 布 有 比较 集中 或 分 散 之 区 别 , 因 此 ， 
它们 的 不 肯定 性 大 小 也 有 区 别 。 如 我 们 比较 以 下 的 几 种 宏 率 分 
布 类 型 ， 

0 1 0 1 0 1 
(0 小 X=( 5 0 5 (0 1 0 9 

0 1 2 "9 

4 ， 0.1 0.1 0 让 
我 们 现在 可 以 分 析 这 四 种 离散 随机 试验 互 ; -了 ,的 不 肯定 性 。 
因为 随机 试验 对 ,是 一 个 决定 性 的 试验 ， 事 件 1 必然 发 生 ， 而 事 
件 0 一 定 不 发 生 ， 因此 它 的 不 肯定 性 为 零 。 对 随机 试验 子 , 与 
地 ,， 它 们 虽然 都 有 不 肯定 性 ,但 它们 的 不 肯定 大 小 是 明显 不 同 
的 ， 因 为 在 随机 试验 卫 , 中 ， 事 件 1 昌 不 一 定 发 生 ， 但 它 发 生 的 
可 能 性 很 大 ， 同 样 ， 事 件 0 虽 不 一 定 不 发 生 , 但 它 发 生 的 可 能 性 
很 小 。 而 随机 试验 互 ,的 情形 则 完全 不 同 ,事件 0 与 1 发 生 的 可 能 
性 完全 相同 ， 因 此 随机 试验 芋 , 的 不 肯定 性 明显 大 于 了 ,。 随 机 
试验 蕊 :与 筷 4 的 不 肯定 性 也 是 不 同 的 ,因为 随机 试验 瑟 , 出 现 的 
结果 比 王 :的 结果 多 , 且 都 是 均匀 分 布 , 所 以 随机 试验 及, 的 不 肯 
定性 比 随 机 试验 巴 * 的 不 肯定 性 大 。 由 此 可 知 , 随机 试验 的 不 肯 
定 大 小 度量 确实 存在 ， 而 且 与 随机 试验 的 事件 空间 大 小 、 概 率 
分 布 的 集中 程度 有 关 。 我 们 可 以 对 离散 随机 试验 蕊 =1，pi] 
的 不 肯定 性 度量 规定 为 一 个 概率 分 布 (p,s 1=1，2，…，14) 的 
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(2.1) 


(2.1’) 


函数 ， 也 就 是 

HCX)=HCP)= HD,, Po, ***» Do)。 | (2.2) 
我 们 称 HC(Z) 为 离散 随机 试验 子 的 不 肯定 性 度量 或 不 肯定 度 。 
以 下 我 们 记 | 


P= {=p,, Pn) Pi 宕 0 i=1, or, fh; 


Bo } (2.3) 


为 柚 上 的 全 体 概 率 分 布 ， 这 时 五 ( 工 ) 为 到 ,上 的 函数 ,为 了 对 不 
肯定 性 度量 有 -~ 个 确切 的 数学 表达 ， 我 们 以 下 介绍 不 肯定 度 的 
公理 化 描述 。 

关于 随机 试验 不 肯定 度 的 公理 化 条 件 为 : 

公理 1 在 贝 努 里 试验 中 肯定 试验 的 不 肯定 度 为 零 , 也 就 是 
H(O0, 1)=0, 

公理 2 在 贝 努 里 试验 中 不 肯定 度 H(P，1 ~ 了) 是 DET50,1] 
的 连续 函数 。 

公理 3 不 肯定 度 H( 半 ) 的 大 小 与 豆 中 事件 排列 次 序 无 关 ， 
也 就 是 不 肯定 度 函 数 HCD)， pb,, "yg D,) 关 于 变量 PD,， 了 2 
p。， 是 对 称 的 。 四 

公理 4 不 肯定 度 的 大 小 具有 可 加 性 ,也 就 是 如 果 随 机 试验 
的 某 事件 内 部 蕴含 不 肯定 度 ， 那 么 这 些 不 肯定 度 在 平均 概率 意 
义 下 是 可 加 的 。 这 上 时 它 的 数学 表达 式 为 


HCP!, Py, 1°, Pn-is G1 42) 
=H(D, Po, ', Pris Dn) + Ps * H(g1 /pn, qs /Pn), 
(2.4) 
其 中 pn =q1 + qs。 


这 里 提 到 的 贝 努 里 试验 是 一 个 二 值 的 随机 试验 ， 可 用 工 = 
ea 7 »， 


0 1 _ 
(。 1 _ 米 表示 ， 这 时 HH(ZY) = HCp，1 -Pp》， 


上 述 不 肯定 性 的 公理 化 条 件 中 ， 公 理 1 一 公理 3 是 比较 自然 
的 ， 对 公理 4 我 们 举例 说 明 如 下 ， 

如 要 找 某 年 级 的 某 同 学 ， 该 年 级 有 100 名 学 生 分 成 4 个 班 ， 
每 班 有 25 名 学 生 ， 那 么 该 同学 在 该 年 级 的 不 肯定 度 应 是 该 同学 
所 在 班级 的 不 肯定 度 与 他 所 在 班级 内 的 不 肯定 度 之 和 ， 这 也 是 
可 理解 的 ， 

定理 1 如 果 H(p") 为 忆 . 上 的 函数 且 满 足 公理 1 一 4， 那么 
H(p") 必 为 以 下 对 数 函 数 的 形式 ， 


H(p1, 1» Pn)=— D2 "logs (p,), (2.5) 


其 中 log,(、) 为 以 为 底 的 对 数 函 数 。 

该 定理 在 许多 信息 论 的 著作 中 均 有 论述 与 证 明 ， 有 兴趣 的 
读者 可 参阅 [5 一 8] 文 。 由 于 以 上 不 肯定 度量 函数 HCP,,…, pn) 
的 形式 与 热力 学 中 的 入 的 形式 十 分 相似 ， 因 此 该 不 肯定 性 的 度 
量 函 数 被 称 为 个 农 粹 。 

在 工程 界 ， 对 (2.5) 中 对 数 的 底 6 有 不 同 的 选择 ， 常 用 的 底 
取 为 4 =2，3，e，10, 并 由 此 产生 的 不 同 的 信息 单位 分 别 为 “ 比 
特 ”(〈Bit， 信 息 度量 的 二 进 制 单位 ),，“ 铁 特 ” (Tet， 信息 度量 
的 三 进 制 单位 ), “这 特 ”CNat， 信 息 度量 的 自然 单位 》),“ 笛 特 ” 
“(Det， 信 息 度量 的 十 进 制 单位 )。 | 
例 1 计算 (2.1 中 随机 试验 信 ; 的 仙 农 炳 ， 

解 ， 在 随机 试验 互 , 中 ， 概 率 分 布 为 pe =P: =1/2， 因 此 


1 
nr =e (3) -Hoe ) 
”因此 (2.1 ) 中 的 随机 试验 了 ,的 不 肯定 性 (或 仙 农 炉 ) 为 信息 的 
ee 8 +， 


度量 单位 “比特 ”。 这 是 工程 中 最 常用 的 信息 度量 单位 。 


2. 介 农 灼 基本 性 质 


为 讨论 仙 农 炉 的 性 质 ， 我 们 先 给 出 若干 关于 对 数 函 数 的 性 

质 。 

引 理 1 关于 对 数 函 数 有 以 下 不 等 式 成 立 ， 
《1) 对 任何 z>0， 有 不 等 式 


1-1/x<lInx<r—1 (2.6) 


成 立 ， 且 等 号 成 立 的 充 要 条 件 为 z=1。 
(2) f(x)=1logz 是 + 定义 域 中 的 下 凸 函数 ， 也 就 是 对 任何 
Xl，X,0， 总 有 不 等 式 


log [3 + z2) |>2 [10g, + logz, | (2.7) 


成 立 。 
证 明 ， 为 证 (2.6? 式 ， 我 们 设 函 数 g(z) =Z- 1- Inrz， 这 时 
9’(1)=(1~1/7)|:.1=0,9(1)=0,9"(2)=1/r*>0 有 8 
对 任何 z 沁 0 成 立 ， 因 此 gCz) 在 +=1 处 取 最 小 什 , 且 最 小 值 为 零 ， 
因此 9(z) 关 0 或 nz<z- 1 对 任何 z>0 成 立 ， 且 等 号 成 立 的 充 要 
条 件 为 z=I。 关 于 (2.6) 的 第 一 个 不 等 式 由 In(1/z)<I/z- 1 即 
得 lnr 宇 1 - 1/z 成 立 。 
f(z)=1ogz 在 >>0 的 定义 域 中 的 下 是 性 由 算术 、 几 何平 均 
不 等 式 
了 zi t+) (2.7’) 
即 得 。 引 理 得 证 。 
引 理 2 关于 算术 ,几何 平均 不 等 式 还 可 推广 为 以 下 一 般 形 
a 9 。 


式 ， 即 对 任何 两 组 pf，d(>>0，t1=1，2，…，H， 且 pi+o 
+ Pn 二 1， 总 有 | 


5 Pi， logq,<log [Y Pi 9， ] C2.8) 
域 立 ， 且 等 号 成 立 的 充 要 条 件 为 qi =4; =***=(ne 
证 明 ， 如 记 8 =  p,* 491， 那 么 由 引 理 1 得 


之 Pi，logq, -logg = 之 Di，1log(qi/9) 


< 和 之 pda/8@-LD=0 


成 立 ， 其 中 不 等 式 中 等 号 成 立 的 充 要 条 件 为 9， 一 42 一 … 一 4m 一 
人 。 引 理 得 证 。 


引 理 3 ”对 引 理 2 中 的 p;，q;， i=1，2,…,m, 如 这 4;=1， 


并 


有 不 等 式 


Sq,* logq; < > q: * logp, (2.9) 
i 一 1 


成 立 ， 其 中 等 号 成 立 的 充 要 条 件 是 pi=qi, i=1，2，*…，m。 
该 引 理 的 证 明 具 要 将 (2.8) 式 中 的 qi 换 为 p;/4; 就 可 ， 这 时 . 


Sq 。 log(p/a)<log| S Pi* Cp/q) | 
iel iml 


~log[ Pp: ]=。， 


i=l 


se 10 。 


此 即 (2.9) 式 成 立 。 

命题 1 对 上 述 仙 农 精 妃 (了 = 五 (p:，…，po) 总 有 
| EH(pI, »*, Pn)<logm 

成 立 ， 其 中 第 二 个 不 等 式 成 立 的 充 要 条 件 是 Pi = pa =… =Pn 二 

1/m， 而 第 一 个 不 等 式 成 立 的 充 要 条 件 是 随机 试验 XX 是 一 个 决 “ 
定性 试验 ， 也 就 是 有 一 个 p; 为 1， 其 余 为 零 。 

这 个 命题 告诉 我 们 ， 当 随机 试验 及 为 均匀 分 布 时 不 肯定 性 
《 亿 农 精 ) 为 最 大 ， 它 的 证 明 由 引 理 3 即 得 ， 这 时 只 要 取 (2.9) 中 
的 PD; 二 1/m，i=1，…，m， 就 可 。 

由 引 理 1 一 3 的 不 等 式 还 可 得 到 关于 信息 量 一 系列 其 它 性 
质 ， 对 此 我 们 在 以 后 的 章 、 节 中 进一步 讨论 ， 


3. 关 于 信息 度量 的 研究 状况 


自 仙 农 炳 产生 以 后 ， 信 息 的 编码 理论 很 快 得 到 确立 ， 因 为 
由 位 农 病 很 快 可 以 派生 出 条 件 精 、 交 互信 息 、 信 和 号 体积 、 信 道 
容量 等 一 系列 概念 。 这 些 度量 已 成 为 信 源 、 信 道 编码 问题 的 理 
论 基 础 ， 它 们 的 定义 与 应 用 我 们 在 以 下 各 章 中 介绍 。 

如 何 扩 展 信息 度量 的 范围 一 直 是 信息 论 工作 者 追求 的 目 
” 标 ， 因 为 任何 新 的 信息 量 的 诞生 就 意味 着 新 的 信息 科学 分 支 的 
产生 ， 例 如 ， 率 失真 函数 的 产生 导致 的 数据 压缩 理论 的 建立 ， 
信道 容量 区 域 的 产生 导致 多 用 户 信息 论 的 发 展 ， 对 此 我 们 就 不 
一 一 列举 了 ， 

自 但 农 粮 产 生 之 后 ， 在 60 一 70 年 代 ， 信 息 量 的 推广 主要 集 
中 在 从 离散 概率 分 布 推广 到 连续 型 概率 分 布 及 从 对 数 函数 推广 
到 一 般 下 凸 函数 上 。 关 于 概率 分 布 的 推广 苏联 学 派 进行 了 大 量 
的 工作 ， 他 们 采用 了 互 入 的 办 法 解决 了 由 仙 农 米 直 接 推 广 的 困 
难 ， 对 此 我 们 在 第 四 章 中 作 详细 的 介绍 。 关 于 对 数 函 数 的 推广 


ss 了 。 


也 有 许多 工作 进行 讨论 ， 一 般 可 采用 圳 函数 等 办 法 解决 ， 一 系 
列 新 的 精 ， 如 &- 阶 焙 的 产生 就 为 此 例 。 值 得 指出 的 是 ， 这 些 新 
的 信息 量 的 产生 虽 大 大 丰富 了 信息 论 的 内 容 ， 在 信息 统计 等 理 
论 中 也 有 许多 应 用 ,但 它们 的 影响 总 不 如 仙 农 炉 ， 其 中 的 一 些 
概念 还 可 看 作 仙 农 粹 的 外 延 或 派生 。 

与 仙 农 炉 出 发 点 完全 不 同 的 两 种 度量 是 计算 机 科学 中 的 描 
述 (或 程序 ) 复 杂 性 与 分 形 几 何 中 的 豪 斯 道夫 CHausdorff) 维 数 。 
指 述 复杂 性 又 名 柯 尔 莫 名 洛 夫 复 杂 性 ， 以 柯 尔 莫 各 阁 夫 复 杂 性 
为 基础 建立 起 来 的 信息 量 并 由 此 建立 的 信息 论 为 算法 信息 论 。 
算法 信息 论 的 观点 否定 了 以 概率 分 布 为 基础 的 信息 度量 原则 ， 
认为 不 同事 物 有 不 同 的 信息 度量 ， 这 个 度量 的 大 小 应 以 计算 的 
复杂 性 来 统一 。 因 此 算法 信息 论 是 计算 机 科学 与 信息 科学 的 结 
合 点 。 关 于 豪 斯 道夫 维 数 问题 是 一 种 自然 界 中 自 相似 图 形 的 结 
构 度 量 ， 它 反映 了 这 种 自 相 似 图 形 的 内 在 复杂 性 。 因 此 在 一 定 
的 意义 下 ， 柯 尔 莫 各 洛 夫 复 杂 性 ， 豪 斯 道夫 维 数 与 仙 农 粒 之 间 
又 存在 一 系列 的 等 价 关 系 ， 它 们 都 可 以 说 是 客观 世界 中 事物 结 
构 复 杂 性 的 表征 。 如 果 我 们 从 这 样 的 角度 来 理解 信息 的 度量 ， 
那么 我 们 就 可 以 对 信息 、 信 息 的 度量 与 信息 科学 有 更 深入 的 理 
解 。 有 关 算 法 信息 论 与 分 形 几 何 理 论 及 他 们 与 仙 农 篇 的 关系 问 
题 我 们 在 第 六 章 中 再 作 介绍 。 


81.3 ”信息论 与 信息 科学 


在 以 上 的 论述 中 我 们 已 大 体 刻 划 了 信息 论 的 产生 与 发 展 的 
历史 ， 以 及 与 信息 度量 关系 密切 的 学 科 分 支 。 我 们 认为 这 些 内 
容 是 近代 信息 论 的 组 成 部 分 ， 当 然 也 是 信息 科学 的 组 成 部 分 。 


ee ] 2 。 


从 广义 的 意义 上 来 讲 ， 信 息 科学 应 有 更 广泛 的 内 容 ， 如 信号 、 
图 象 、 语 音 的 一 系列 信息 处 理 问 题 或 计算 机 的 语言 编码 等 问题 
等 。 它 们 无 疑 是 信息 科学 的 研究 内 容 ， 这 些 内 容 比较 偏重 实际 
数据 与 各 种 具体 内 容 的 处 理 ， 因 此 与 前 者 还 有 一 定 的 区 别 ， 我 
们 认为 这 两 部 分 内 容 都 是 信息 科学 的 重要 组 成 部 分 ， 它 们 相互 
推动 与 发 展 。 明 确 这 一 点 对 我 们 学 习 、 了 和 解 信息 科学 的 全 貌 是 
有 帮助 的 。 


第 二 章 ” 仙 农 炳 与 无 噪声 
信 源 编码 问题 


$ 2.1 通信 系统 概述 


一 个 通信 系统 由 信 源 、 信 和 道 、 编 码 与 译 码 等 要 素 构 成 ， 我 
们 先 对 它们 的 含意 与 记号 进行 以 下 的 描述 与 说 明 . 

1. 信 源 

信 源 即 消 息 的 来 源 ， 我 们 通常 发 送 的 电报 、 电 话 、 信 函 、 
”电视 图 象 等 等 都 可 看 作 信 源 的 消息 。 由 于 通信 系统 的 服务 对 和 象 
要 求 不 同 ， 不 辐 的 通信 系统 有 不 同 的 信 源 特征 。 例 如 不 同 的 国 
家 有 不 同 的 文字 记号 ， 不 同 的 应 用 范围 (民用 或 专用 系统 ) 有 不 
同 的 用 字 范 围 与 频率 ， 因 此 一 个 信 源 可 通过 以 下 内 容 进 行 描 

《1) 信 源 消息 字母 表 下 ， 即 信 源 消息 可 能 使 用 的 全 部 符 
导 ， 如 中 文 电报 中 的 消息 字母 表 为 全 体 汉 字 、 数 字 与 标点 符号 
等 ， 在 英文 电报 中 的 消息 字母 表 是 全 体 英文 字母 、 数 字 与 标点 
符号 等 。 在 数学 上 ， 消 息 字母 表 为 一 个 有 限 集合 吾 ， 它 的 元 素 
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为 信 源 字母 或 输入 消息 字母 ， 我 们 用 小 写字 母 x<、y 等 表示 ， 
(2) 一 个 确定 的 信 源 除了 上 述 消 息 字母 表 确定 之 外 ， 每 个 
消息 字母 的 使 用 概率 往往 是 确定 的 ， 便 如 常用 的 英文 字母 的 使 


用 概率 由 表 1 确 定 ， . 

表 1 常用 英文 字母 使 用 概率 表 
字母 ”使 用 概率 字母” 使 用 概率 字母 ”使 用 概率 字母 使 用 概率 
A 0.0856 H 0.0528 O 0.0797 Vy 0.0092 
B 0.0139 I 0.0627 P 0.0199 W 0.0149 
C 0.0297 J 0.0013 Q 0.0012 xX 0.0017 
D 0.0378 K 0.0042 R 0.0677 Y 0.0199 
E 0.1304 L 0.0339 S 0.0607 Z 0.0008 
下 0.0289 M 0.0249 T 0.1045 

G 0.0199 N 0.0707 U 0.0249 

表 2 最 常用 的 前 十 个 汉字 的 概率 表 
编 政治 文 艺 新 闻 科 技 综 合 
号 字 概率 字 概率 字 概率 字 概率 字 概率 
1 的 0.0536 的 0.0324 的 0.0375 的 0.0320 的 0.0384 
2 是 0.0165 一 0.0218 一 0.0132 一 0.0097 一 0.0125 
3 一 0.0136 了 0.0196 了 0.0120 在 0.0092 是 0.0098 
4 在 0.0115 不 0.0165 和 0.0086 用 0.0079 在 0.0095 
5 这 0.0109 是 0.0141 在 0.0086 有 0.0073 了 0.0082 
6 主 0.0108 说 0.0130 人 0.0083 是 0.0070 不 0.0081 
7 不 0.0101 他 0.0130 大 0.0083 不 0.0069 和 0.0075 
8 和 0.0098 这 0.0119 主 0.0083 中 0.0066 有 0.0069 
9 人 0.0087 着 0.0107 是 0.0078 大 0.0064 大 0.0069 
10 们 0.0087 个 0.0097 们 0.0065 时 0.0063 这 0.0064 
累计 0.1544 0.1627 0.1189 0.0922 0.1141 


* 


对 汉字 的 统计 工作 是 十 分 消 繁 的 ，1981 年 我 国 公布 了 《 信 
息 交 换 用 汉字 编码 字符 基本 集 ? 的 国家 标准 (GB-2312) ,该 标准 
收 客 字 数 为 6763 个 ， 它 为 我 国 汉字 信息 处 理 的 依据 ， 表 2、 表 3 
给 出 了 汉字 概率 分 布 的 特征 表 . 


表 3 常用 汉字 分 布 情况 表 
汉 字 序 号 
累计 概率 
政治 文艺。 新闻 科技 综合 

0.50 102 96 132 169 163 
0.90 650 860 780 900 950 
0.99 1790 2180 2080 2250 2400 
0.999 2996 3204 3402 3719 3804 
0.9999 3917 3808 4575 5116 5265 
1.0000, 4356 3956 5084 5711 6359 


对 一 般 消息 字母 x 的 概率 我 们 用 pC7) 来 表示 ， 这 时 记 
S= [不 ,p(z)] (1.1) 

为 信 源 。 如 果 革 为 一 个 在 怪 上 取 值 且 具 有 概率 分 布 PCx) 的 随机 
变量 ， 也 就 是 p.{ 卫 =2} =p(z)， 那 么 我 们 称 革 为 信 源 随机 变量 
或 输入 消息 随机 变量 ， 

2. 信 道 

在 通信 过 程 中 ， 信 息 通过 信号 荷载 ， 信 和 号 经 过 的 通道 为 信 
道 传 递 。 信 道 一 般 由 甲 、 乙 两 地 及 一 定 的 联系 媒质 组 成 ， 甲 、 
乙 两 分 别 为 输入 、 输 出 端 或 发 送 、 接 收 端 。 在 信道 的 输入 端 ， 
电磁 波 以 一 定 的 脉 溃 信号 经 过 一 定 的 媒质 进行 发 送 ， 到 达 接 收 
端 ， 且 变 为 输出 信号 进行 接收 。 因 此 信道 的 组 成 内 容 有 : 

(1) 输入 信号 字母 表 厂 ， 信 道 的 全 体 可 能 的 输入 信号 字母 
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《或 符号 )， 在 近代 通信 中 常用 9- 进 制 的 脉冲 信号 ， 央 此 正常 取 
为 有 限 域 (或 整数 集合 )GEF(q)={0,1,… ,4q-1}. 

《2) 输出 信号 字母 表 玉 。 信 和 道 输出 端的 全 体 可 能 的 输出 信 
号 字母 (或 符号 )， 一 般 取 栈 = VV， 但 也 可 以 不 相同 ， 

如 到、 了 都 是 有 限 集合 ， 那 么 这 个 信道 为 离散 信道 ， 如 到 

= 及 一 人 到 (9) ,那么 这 个 信道 为 一 个 4- 进 制 信道 。 在 实用 通信 
中 ， 有 时 取 玖 为 有 限 集合 而 太 为 连续 集合 (如 全 体 实数 )， 这 时 
称 这 个 信道 为 半 连 续 信 道 。 
C3) 信道 噪声 或 干扰 . 当 脉 冲 信 号 电磁 波 在 信道 中 传递 时 ， 
由 于 通信 内 部 设备 或 信道 外 部 条 件 的 影响 ， 原 发 送信 号 的 脉冲 
形状 会 发 生 畸 变 ， 从 而 导致 接收 者 的 判断 差错 ， 人 们 统称 这 种 
畸变 为 信道 的 噪声 或 干扰 ， 它 可 能 的 结果 用 一 个 条 件 概率 分 布 
pCv/w) 来 表示 ， 它 表示 在 发 送信 号 4 固定 的 条 件 下 ,接收 信号 为 
2 的 概率 ， 这 时 


PO/W0, 8 之 pCo/rD=1， 
veEyV 


以 下 我 们 记 - 
C=[U, pV/u), V] (1.2) 
为 信道 。 如 果 CU，V) 为 两 个 随机 变量 且 它 们 的 条 件 概 率 为 PC 
/Ww)， 也 就 是 PA(V = 二 0/D0=w} = p(v/w)， 那 么 我 们 分 别称 U、V 
为 信道 的 输入 、 输 出 信号 随机 变量 ， 


3. 编 码 
由 信 源 消息 变 为 信道 发 送信 号 的 过 程 为 编码 一 个 实用 通 
信 系统 的 编码 过 程 是 由 一 系列 符号 之 间 的 运算 构成 ， 如 在 汉字 


的 电报 通信 中 ， 编 码 过 程 为 
汉字 之 数字 二 脉冲 信和 号 守 带 电磁 波 的 脉冲 信号 ， 
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信道 实际 上 发 送 的 是 带电 磋 波 的 脉冲 信号 ， 在 工程 中 把 以 上 变 
换 过 程 称 为 调制 过 程 。 在 信息 论 中 常常 把 “汉字 之 脉冲 信号 ? 
的 运算 过 程 称 为 编码 。 在 一 般 情 形 ， 编 码 就 是 一 个 从 信 源 字母 
表 下 到 信道 输入 信号 字母 表 政 的 变换 。 我 们 记 之 为 je。 

4. 译 码 

由 信道 接收 信号 变 为 信 源 消息 的 过 程 为 译 码 ， 因 此 译 码 过 
程 是 编码 的 逆 过 程 ,实用 通信 系统 的 译 码 过 程 是 一 个 解 调 过 程 ， 
如 以 上 汉字 电报 通信 中 的 解 调 过 程 是 

带电 磁 波 的 脉冲 信号 之 脉冲 信号 数字 之 汉字 。 

由 于 信道 的 干扰 影响 ， 接 收 信 号 会 有 一 定 程度 的 畸变 发 生 ， 因 
此 解 调 过 程 首先 是 一 个 从 带电 磁 波 的 接收 信号 到 脉冲 接收 信号 
的 一 个 统计 判决 过 程 ,这 个 判决 结果 产生 信道 转移 概率 DCo/u) 
在 信息 论 中 的 译 码 就 是 指 由 脉冲 信号 到 汉字 的 变换 运算 。 在 一 
般 情 形 就 是 一 个 从 信道 输出 信号 字母 表 了 到 信 源 复制 字母 表 于 
的 变换 运算 ， 我 们 记 之 为 Fo。 信 源 复 制 字母 表 于 即 至 的 复制 空 . 
间 ， 一 般 取 玉 = 至 ， 有 时 也 可 不 同 ， 

在 信息 论 的 术语 中 常 把 以 上 定义 的 “编码 "与 “ 译 码 ” 合 称 纺 
码 ， 有 时 记 (Cfsyjo) 为 (六 9)。 


5. 通 信 系 统 


综 上 所 述 ， 一 个 通信 系统 是 由 信 源 、 信 道 、 编 码 与 译 码 等 

要 素 构成 。 为 了 以 后 叙述 的 方便 ， 对 不 同 要 素 的 组 成 的 系统 给 
以 不 同名 称 。 以 下 我 们 记 

E={$,C}={[,pC7)], LU ,pW VI} (1.3) 

为 通信 系统 ， 这 是 通信 工程 中 最 为 固定 的 成 分 ， 因 为 一 般 的 通 

信 环 境 与 硬件 设备 是 不 会 轻易 改变 的 。 这 时 ， 信 源 的 概率 分 布 
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与 信道 的 条 件 概率 分 布 都 是 由 客观 条 件 所 确定 。 而 称 

EC(fs,fo)={E,(fe,fn)}={$,C, (fe,fo)} (C1.4) 
为 具有 编码 的 通信 系统 。 因 为 编码 与 译 码 函 数 可 以 人 为 选择 ， 
它们 的 调整 的 技术 上 也 比较 容易 实现 ， 因 此 仙 农 信息 论 的 基本 
特点 就 是 通过 研究 编码 与 译 码 的 构造 来 实现 最 佳 通 信 . 

把 一 个 同时 具有 信 源 、 信 道 、 编 码 、 译 码 、 调 制 与 解 调 的 
系统 称 为 通信 工程 系统 。 因 为 调制 与 解 调 问题 涉及 其 它 一 系列 
工程 与 数学 问题 ， 对 此 本 书 不 作 详 述 。 
”在 信息 论 中 ,一 个 通信 系统 可 用 框图 2.1 来 表示 。 如 通信 系 
统 五 (jyfp) 给 定 ， 那 么 下 xx 下 xx 术 xx 了 上 的 联合 概率 分 布 由 

DPC)U DB) = pT) ECGUz) PV/W) fp ly/v) (1.5) 
完全 确定 ， 其 中 
1， 如 果 fE(7X) = 二 4， 
few/ w={ 否 册 ， 
fo(v)=y, 


fow/n={ 否则 


图 2.1 通信 系统 的 框图 


如 果 随 机 变量 (了 ，U，,，V，Y) 取 值 于 及 XUVxVx 轩 ,而 
且 它 的 概率 分 布 为 由 (1.5) 式 给 定 ， 也 就 是 ， 对 任何 (XY,u,0,y) 
EXUVxWxY,， 有 
P,{=7r, U=u, V=v, Y=y}=p(r, U, 0, 
(1.7) 
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成 立 ， 其 中 p(zyao 切 由 (1.5) 定 义 ， 这 时 我 们 称 ( 蕊 ;U,V,Y) 
为 由 通信 系统 至 (Fs，/ 太 决定 的 随机 变量 ,有 时 直接 称 { 工 ,U， 
V,Y} 为 通信 系统 。 当 工 =Y 时 ， 我 们 称 ， 


pelfgyfD)=PAXAY}= 之 Ppl, Y) (1.8) 


(B18)s 4 


为 通信 系统 的 概率 误差 ， 其 中 PCZ,y) 为 PCz,w,?, 在 里 x 于 
上 的 边际 分 布 ， 也 就 是 


P(X,Y) =P,{X=7x,Y=Yy)}= > > DX, VY)., 
(1.9) 


6. 通 信 系 统 的 序列 模型 


在 实际 的 通信 问题 中 。 无 论 是 消息 字母 或 信号 字母 都 是 成 
只 传 递 的 ， 因 此 实际 的 传递 消息 、 信 号 是 一 组 向 量 ， 它 们 分 别 
是 
输入 消息 向量 ，z"= C2; ,Ts,…71)，Z4E 可， 
i=1,2,.…,n, 
输入 俏 号 向 量 ; Ww 二 WW)，Ui EV， 
| i=1,2,.…,n, 
输出 信号 向 量 , v= 二 C04,9059 90n),， EW， 
7 一 1 2 1 
复制 消息 向 量 ， 妨 = (yy2 9 和 V2)，ViE， 
一 1， 2， 1 
它们 的 向 量 空间 分 别 是 收 "，WV"，W" 与 Y¥"。 相 应 的 信 源 、 信道 
分 别 是 
$=[X", pz)], C=[U", pW"/u), VY") 
(1.10) . 
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其 中 p(z" 是 至 "上 的 概率 分 布 ， 而 po"/w") 是 条 件 概率 分 布 ， 
《1.10》 中 的 上 标 " 是 向 量 长 度 , 如 4 一 1,2,3,…, 可 以 任意 延长 ， 
那么 我 们 称 (1.10) 的 SS",C' 分别 为 信 源 序列 与 信道 序列 ,而 称 
EB"={S", CC}, E"(fi,f5)={E', (fi,f25)), 
n=1,2,3,.， . (1.11) 
为 通信 系统 序列 ， 其 中 请 ,万 分 别 为 编码 与 译 码 运 算 ,它们 分 别 
是 
f3: "VU", fo: V"—»Y" 
的 变换 运算 .仿照 (1.6) 一 《1.9) 的 定义 ， 辣 样 可 以 确定 通信 系 
统 序列 的 联合 概率 分 布 PCr"，w*，v"，y")， 通 信和 系统 的 随机 变 
量 { 久 "，U"，V*"，Y*}， 及 相应 的 误差 概率 pe(f 2，/5)， 对 此 我 
们 就 不 一 一 列举 。 | 
我 们 称 信 源 序列 S$"，#==1,2,…， 是 一 个 “无 记忆 的 信和 源 序 
列 ”"， 如 果 对 任何 x”= Cz1，…，Xn) 及 "，# 二 1,2,3，…, 总 有 


pz") = [I PC) (1.12) 


局 样 我 们 称 信道 序列 C"，#=1,2,…， 是 一 个 “无 记忆 的 信 
道 序列"， 如 果 对 任何 w= (wi,… ,0) EV’ "= (V1 Un) GE 
V'’, n=1,2,3,.", 总 有 


po" /ur)= [EP /Hu) (1.13) 


成 立 ， 
无 记忆 信 源 、 信 道 是 通信 系统 中 最 常见 的 通信 模型 ， 它 不 
仅 具 有 广泛 的 实际 背景 ， 且 对 它们 的 编码 问题 的 讨论 包含 了 信 
息 论 的 基本 特征 。 对 有 记忆 情形 ， 我 们 只 要 利用 随机 过 程 的 工 
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具 作 相应 的 推广 就 可 。 因 此 ， 在 本 书 中 ， 我 们 讨论 的 通信 模 再 
以 无 记忆 信 源 、 信 道 为 基础 ， 

， 仙 农 信息 论 的 基本 问题 就 是 在 信道 有 干 护 或 无 干扰 的 条 件 
下 实现 最 佳 通 信 的 要 求 。 所 亩 最 佳 通信 要 求 就 是 在 实现 正确 天 
误差 的 通信 前 提 下 ， 尽 可 能 多 地 传送 信 源 信息 ， 依 据 信 源 、 信 
道 的 结构 特点 ， 人 们 常 把 以 上 基本 问题 分 为 信 源 、 信 道 编码 问 
题 ， 这 些 问题 的 解决 与 仙 农 精密 切 相关 。 


§ 2.2， 信 源 的 不 等 长 信号 编码 问题 


无 噪声 信 源 编码 问题 是 一 种 最 常见 的 编码 问题 ， 它 的 一 般 
定义 是 指 把 一 种 字母 表 的 字母 变 为 另 一 种 字母 表 的 字母 。 例 如 
计算 机 中 的 8421 码 ， 它 就 是 把 一 个 十 进位 数 变 成 一 个 4 位 二 进 
位 数 。 这 种 编码 是 在 信道 无 干扰 条 件 下 使 用 。 

无 噪声 信 源 编码 的 类 型 很 多 ， 一 般 分 为 等 长 与 不 等 (或 变 ) 
长 编码 及 有 人 允许 误 差 与 不 允许 误差 等 类 型 。 在 本 章 中 ， 我 们 只 
讨论 不 允许 误差 情形 。 对 有 允许 误差 的 编码 问题 在 第 五 章 中 有 
详细 讨论 ， 在 本 节 中 ， 我 们 讨论 信 源 的 无 噪声 变 长 码 问题 ， 


1. 无 噪声 信 源 不 等 长 编码 的 一 般 定 义 
如 82.1 所 记 ， 设 蛋 为 信 源 消息 字母 表 ，U 为 信 源 信号 字 
母 表 ， 而 


下 "= TX,, 7 一 fv 2.1) 


分 别 为 它们 的 #- 维 乘积 空间 ， 其 中 党 ,二 有 淖 ,，V ,=V, 以 下 记 
ee 22。， 


=), UvU'=\ mr"， (2.1’) 
n=l Rml 


这 时 ， 肥 *、 恕 * 分 别 为 怪 、U 上 的 全 体 不 等 长 向 量 。 信 源 的 不 
等 长 编码 是 指 一 个 从 受到 UD * 的 变换 。 我 们 称 

Us={f(x), rE RICU" (2.2) 
为 一 个 变 长 码 。 

定义 1 对 变 长 码 殉 fy， 我 们 定义 : 

《1)f《7) 是 一 个 1 一 1 码 ， 如 果 7 关 x*'， 那 么 f (7) 冯 f《z')。 

C2) jz) 是 一 个 唯一 可 译 码 ， 如 果 对 任何 z"，z' GE 可"， 
如 果 2z" 关 z2 7 ， 那 么 必 有 六 27 关 Fz 7)， 其 中 

2 一 (7 Tes …， 00) Zl" = (TIT st 1 ) 
其 中 x" 关 xz'" 是 指 n 天 1n' 或" 关 ?'*， 而 
fz = Cf 71), fxs), 1 flrs)). (2.3) 

《3) 8z) 是 一 个 前 缀 (Brefix) 码 ， 如 果 对 任何 zyz“ GE 四， 
jz) 与 F(z7) 相 互 不 为 前 缀 。 

对 以 上 定义 我 们 有 以 下 几 点 说 明 ， 

(1》 关 于 前 缀 向 量 可 由 以 下 例子 说 明 ， 如 讨论 向 量 ， 

a=(0,1,0), b=(C0,1,0,0,0,1), c= (1,0), 
这 时 向 量 o 是 6 的 前 级 ， 而 c 了 既 不 是 4 也 不 是 5 的 前 缀 。 

(2) 关于 1 ~ 1 码 与 唯一 可 译 码 的 关系 是 ， 唯 一 可 译 码 一 定 
是 1- 1 码 ， 反 之 则 不 然 。 此 关系 的 正 命题 是 显然 的 ， 办 为 满足 
唯一 可 译 码 的 条 件 必 满 足 1 一 1 码 的 条 件 。 对 它 的 反 命 题 不 成 立 
可 由 以 下 人 钢 子 说 明 . 

如 我 们 取 及 ={1,2，3}，UV={0,1},， 而 到 

fC1)=0, fC62)=1, fC(3)= (0,1). 
这 时 f(z) 是 1 一 1 码 , 因 为 如 z 去 x’ 时 , 必 有 f(z) 关 f(z')。 但 f(x》 
不 是 唯一 可 译 码 ， 因 为 (1,2) 关 3， 但 是 有 
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fl1,2)= (01), £62))= (0,1)=f(3). 
这 时 如 /不 是 唯一 可 译 码 . 
《3〉 关于 前 级 码 与 唯一 可 译 码 的 关系 由 以 下 定理 说 明 。 
定理 1 任何 前 级 码 一 定 是 唯一 可 译 码 ， 
证 明 ， 如 果 f(z) 是 任 一 前 级 码 ， 那 么 它 一 定 是 一 个 唯一 可 
译 码 ， 不 然 ， 总 有 一 对 x" 关 +z"'E€ 坚 *， 使 得 
fz) =(f x1), fx,), pz 
= 一 az)=(CfGr 7，1zs)，…，jGz ,1)) 
(2.4) 
成 立 。 因 为 1(2) 为 前 缀 码 , 这 时 必 有 x1 二 x1 人 成 立 ,否则 在 (2.4) 
中 , 必 有 f(x1) 为 1/(x1)( 或 (x1 ) 为 1(z1)) 的 前 级 。 这 时 (2.4) 
式 变 为 有 
Cf Ts), fTs), 1 fl21)) 
=(f(r2), fx ys, fT a1)) (2.4’) 
域 立 。， 由 (2.,4 小 同样 可 得 7,==x, 成 立 ， 依 次 类推 可 得 x"= 
Zz'"' 成 立 ， 这 与 假定 也 盾 ， 因 此 (7X) 一定 是 唯一 可 译 码 。 定 理 
得 证 . 
(4) 了 "的 树 结 构 
我 们 现在 讨论 向 量 空间 UV" 的 一 种 树 图 表示 . 不 失 一 般 性 ， 
我 们 取 UV = {0,1}， 我们 对 照 图 2.2 对 树 图 进行 描述 定义 。 由 图 
2.2 可 知 ， 树 图 由 若干 节点 与 线段 组 成 ， 由 每 个 节 向 右 产 生 树 
的 分 权 ， 我 们 称 最 起 始 的 节点 为 根 点 。 连 结 节点 的 线段 为 树 的 
节 ， 不 同 的 节 用 玉 中 不 同 的 值 来 表示 ， 我 们 称 之 为 节 的 状态 ， 
由 同一 个 节点 分 权 葛 节 的 状态 互 不 相同 . 
在 树 图 中 ,由 根 点 出 发 沿 不 同 分 权 向 右 可 得 到 不 同 的 枝 ,每 
条 枝 中 所 含 节 的 数目 为 枝 的 长 ,图 2.2 中 长 度 为 4 的 枝 有 24 条 ,每 
条 长 为 4 的 枝 正 是 朴 4 中 不 同 的 向 量 。 这 时 我 们 称 图 2.2 为 (2,47 
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ORFOPOPODRO 关口 普 吕 姜 定 


图 2.2 〈2,4) 一 完全 树 图 2.3 mr, 不 完全 树 


-完全 树 ， 因 为 它 的 全 部 长 度 为 4 的 枝 正 是 UV “ 码 的 全 部 向 量 。 

在 一 般 情 形 ， 一 个 V" 空 间 为 一 个 (D，x)- 完 全 树 ， 每 个 节 
点 有 也 个 分 权 ， 其 中 DD=j 石 | 为 如 的 元 素 个 数 。 因 此 ,在 (D,*) 
~ 完全 树 中 ， 长 度 为 ?的 枝 有 DP" 条 . 

一 个 不 等 长 码 栈 /为 一 个 (D,*)- 完 全 树 的 子 树 ， 它 由 一 个 
《D,#)-- 完 全 树 的 若干 枝 上 剪 去 部 分 分 权 而 得 ， 其 中 # 为 Uy 中 最 
长 的 向 量 长 度 。 例 如 ， 当 

Us;= {010), C01101), (0111), C00001), (10111), 
C1110), (110), (1010), (1111)} 
时 ， 它 的 树 结 构图 如 图 2.3 所 示 ，- 

由 前 级 码 的 定义 可 知 , 吕 jy 为 前 级 码 的 充 要 条 件 是 在 太 j 的 树 
结构 表示 中 , 由 根 点 到 达 树 的 末梢 点 的 枝 有 | 下 | 条 。 例 如 ,在 图 
2.3 中 ， 到 达 树 的 末梢 点 的 枝 数 与 码 元 数 都 为 9, 因此 好 ;为 前 级 
码 。 

《5) 前 缀 码 的 构造 条 件 与 方法 可 由 以 下 定理 给 定 。 
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定理 ? 〈IL，G，Kraft 不 等 式 )。 如 我 们 记 全 = (zi，zay 
9 Te}, D= |vU |, Bi, Ha, oy 7 为 一 组 正 整 数 ， 那么 有 : 
”如 果 不 等 式 


k . 
> expo -ni) <1, (2.5) 


成 立 ， 那 么 必 可 构造 一 个 前 级 码 / (x)， 使 

rn;=1[f 77), j=1,2,.,k, (2.6) 
成 立 ， 其 中 [f(z)] 为 变 长 码 (x) 的 码 长 反之 ,如 果 /(C7z) 为 前 
级 码 ， 那 么 它 的 码 长 #;，j=1,2,…,& 必 满足 (2.5) 式 ， 

证 明 ， 我 们 先 证 道 命题 。 如 果 朴 ,= {f(x)，xE 蛋 } 是 一 个 

前 缀 码 ， 那 么 (2.5) 式 必 成 立 。 如 我 们 记 六 =max{2i，j=1,2， 
并 且 记 

(CU ti) 一 (LV 
为 两 个 向 量 的 联结 ， 其 中 

Wi=(W, 2) 及 2 = 1 Ue). 
这 时 记 wOUV:= {Cw，w)， WEVD?) 为 由 枝 & 产生 的 全 部 长 度 
为 1+s 的 枝 。 这 时 lw:@OE 中 =expo(Cs)。 如 果 jz) 是 一 个 前 级 
码 ， 那 么 


’ 


f(r OV, i=1,2,.,R, (2.7》 
是 一 组 长 度 为 N 的 ， 互 不 相同 的 向量 族 ， 向 量 的 总 数 为 
& 四 
> expnCN -zsexpnCN)。 (2.8》 


i=l 


把 (2.8) 式 两 边 同 除 以 expoCN) 即 得 (2.5) 式 成 立 ， 逆 命题 得 证 。 

如 果 (2.5) 式 成 立 ， 我 们 可 构造 满足 (2. 6) 式 的 前 缀 码 。 不 
失 一 般 福 ， 我 们 取 HI 妇女 … 近 弘一 入 因为 UN 为 一 个 (D,N)™ 
完全 树 。 这 时 ， 前 级 码 U jy 可 由 完全 树 U" 前 接 而 成 ， 剪 接 步 又 
如 下 ， 
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(1) 从 根 点 出 发 , 任 取 一 长 度 为 ,的 枝 , 我 们 记 它 的 状态 为 
Ui'= (Wi,1, Ui,s, … U1,n), 


前 去 由 4 枝 所 产生 的 全 体 分 权 .。 剪 去 的 分 枝 有 expnCN-zi) 


条 ， 这 时 完全 树 思 ^ 还 余 ” FexpoCN)— 一 eXppCN-%1) 条 长 度 汶 N 的 


枝 ， 我 们 记 之 为 UU ,. 
《2) 从 根 点 出 发 ， 从 本 ,中 任 取 一 长 度 为 4 的 枝 , 我 们 记 之 
为 
U2:= (Wo, ss ,ss Ua). 


同样 剪 去 由 zx?: 枝 所 产生 的 全 体 分 权 ,前 去 的 分 枝 有 expoCN 
-23:) 条 , 这 时 完全 树 到 ”还 余下 exppCN) -- 5 exppCN-#:) 条 长 


度 为 N 的 枝 ， 我 们 记 之 为 UU ，. 
“(3) 依次 类 推 ， 我 们 可 以 找到 一 系列 的 枝 
Wii = Wo sn), i=1,2,3,.", (2.9) 
因为 有 (2.5) 成 立 ，(2.9) 中 的 ;至 少 有 A 条 。 这 时 我 们 了 
jc =u i, i=1,2,. ,bk, 
就 为 所 求 的 前 织 码 ， 且 1[fCz)]=t4，i=1,2,…,h， 成 立定 
理 得 证 . 


2. 信 源 的 不 等 长 信号 编码 定理 


所 谓 信 源 的 不 等 长 信号 编码 问题 就 是 讨论 对 已 给 信和 源 革 = 
[ 盈 ,p(z)7]， 如 何 构造 平均 长 度 较 得 的 唯一 可 译 码 。 如 上 所 记 ， 
设 j(z) 是 下 上 的 一 个 不 等 长 编码 ， 这 时 f(z) 是 一 个 "中 的 身 
量 ， 它 的 长 度 记 为 I[f(x)]， 而 记 


L[f(X)]= E{l[f(XF)I)}= BUC) pz) 
EX 
(2.10> 
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为 变 长 码 /(z) 的 平均 长 度 ， 其 中 ， 至 {Y)} 表示 随机 变量 Y 的 数 
学 期 望 (均值 )。 以 下 我 们 讨论 fxz) 的 平均 长 度 。 
定理 3 任何 唯一 可 译 码 f(x)， 必 有 
LIf(£)1>HC(X)/ ogD), 《2.11) 
其 中 HC 了 了) 为 随机 变量 ZX 的 粹 。 反 之 ， 必 存在 适当 的 唯一 可 译 
码 f(x)， 使 
LIf(X)JEHCE)/ ogD) + 1 (2.12) 
成 立 。 
证 明 ， 我 们 先 证 (2.11) 式 。 在 定理 2 的 记号 下 ， 又 记 
qi=exppn;), Pi=p(7), i=1,2,° ,Rk, 
这 时 有 -log(qs) =#1*logD， 且 有 


hk 
HCX) -LIf(X)1:logD= 3 belog(gs/p,) 
i=l 
< > Di* (qs/Ds 一 1) .1l0ge(2) 


3 
一 > (gq,~ 7p,) "1l0ge(2) <0, 2.13) 


在 (2.13) 中 ， 第 一 个 不 等 式 由 对 数 浮 数 性 质 ，logz<(7z 一 1)。 
log.(2) 而 得 ， 而 第 二 个 不 等 式 由 定理 2 即 得 .,(2.117 式 得 证 。 
对 C2.12) 式 ， 我 们 取 

~ [logp,/logD]<m< ~[logp/logD]+1, (2.14) 
这 时 1，i=1,2，…sk, 必 满足 定理 2 的 《2.5) 式 条 件 ， 因 此 由 定 
理 2 可 构造 一 个 前 弘 码 1(z) ,XE 胎 ， 使 4,==1[/(x1)3。 这 时 有 

- kh 
L[f(X)1= > bp， 


并 


<S [~ (logp/logD) +1]*p=HCX)/logD+1, 


并 
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也 即 (2.12)7 式 成 立 。 定 理 得 证 。 

由 定理 2，3 给 出 了 唯一 可 译 码 ( 或 前 级 码 ) 的 构造 方法 与 平 
区 长 度 的 变化 范围 。 这 些 性 质 反 映 了 信 源 的 无 噪声 、 不 等 长 编 
码 的 基本 性 质 ， 为 通信 理论 的 基本 特征 之 一 。 


§ 2.3 炳 功率 与 信号 体积 


在 8 2.2 中 ， 我 们 给 出 了 信 源 的 不 等 长 信号 编码 问题 , 它 的 
唯一 可 译 码 的 平均 长 度 为 该 信 源 的 焙 控 制 。 我 们 现在 讨论 信 源 
的 等 长 编码 问题 ， 它 的 特征 可 形象 地 用 “ 炉 功 率 ” 与 “信号 体积 ” 
来 说 明 ， 

一 个 信 源 的 等 长 编码 问题 是 指 编码 函数 为 

f"(z"): ">" (3.1) 
的 映射 。 当 (mn，m) 固定 时 ， 如 果 产 (z? 是 个 1 一 1 映射 ， 那 么 
f(z") 一 定 是 唯一 可 译 的 。 但 是 ， 在 信 源 的 等 长 编码 问题 中 , 因 
为 当 上 标 # 较 大 时 ， 下 "是 一 个 十 分 巨大 的 空间 ， 许 多 向 量 在 通 
信 时 实际 上 不 会 使 用 。 因 此 ， 在 信 源 的 等 长 编码 问题 中 ， 我 位 
只 要 求 f"(z") 能 以 很 大 的 概率 还 原 就 可 。 不 失 一 般 性 ， 在 本 节 
中 我 们 取 U"= {0,1}，m=R,4, 这 时 称 R 为 编码 函数 "(7") 的 码 
率 。 在 本 节 中 ,我 们 讨论 的 信 源 模型 是 $ 2.1 中 的 无 记忆 信 源 序 
列 模型 。 它 的 概率 分 布 由 (1.12) 式 给 定 。 

定义 1 (1) 我 们 称 R 是 信和 源 SS 的 一 个 “可 达 率 ”， 如 果 对 任 
何 e>0, 只 要 n 充 分 大 ， 就 有 一 对 编码 函数 《 户 ，g")， 它 们 分 别 
是 

"Cr Ur gr") VU" (3.2) 
的 变换 ， 其 中 m = 有 Re， 且 编码 的 误差 概率 
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pf",g9")=P,{9" Tf "CA" } ee, (3.3» 
(2) 我 们 称 R 是 信 源 SS 的 一 个 “最 小 可 达 率 ”， 如 果 R 是 二 的 
可 达 率 ， 且 对 任何 R’<R，R’ 不 为 信 源 的 可 达 率 . 
定理 1 元 记忆 信 源 SS 的 景 小 可 达 率 是 R。=H(X). 
证 明 ， 对 此 定理 我 们 分 以 下 几 步 证 明 。 
《1) 先 证 定理 的 正 命题 。 也 就 是 ， 当 R>R。 时 ,R 为 信 源 的 
可 达 率 。 如 我 们 定义 


h(x") =]Iogp(2z = > logp(%) (3.4) 


为 无 记忆 信 源 的 “精密 度 *"， 其 中 p(z 由 (1.127 定 义 ， 这 时 ,我 
们 可 把 hz”) 看 作 一 个 独立 随机 变数 之 和 ， 由 大 数 定律 可 知 
P-lim(1/n) hr")= B{h(X)) = HCY) (3.5) 


成 立 ， 其 中 “P-lim" 为 以 概率 收 伍 ， h(x)= 一 10gP(z) 为 p(x) 的 
渍 密度 。 这 时 ， 对 任何 >>0， 我 们 定义 

= {rx [C1/n) hx) ~ HCX)| <Ee), (3.6) 
这 时 对 任何 z"E. 下 ?3， 必 有 

exp{—%*[HCX) + el]}<plr") exp{ ~ nLHCX) ~ el]} 

成 立 。 因 此 有 

1s|<exp{ne CHCX) + ej}<exp[lne (R+e)1(3.7) 
成 立 。 由 (3.5) 式 可 知 ， 对 上 述 e>0， 只 要 ?# 充 分 大 ， 就 有 

P(E)= > BCzD>>1-e (3.8) 
成 立 。 这 样 我 们 可 在 下 ;与 Ur" 之 间 构 造 一 个 1- 1 对 应 指 函 数 
QGD， 其 中 央 =#( 及 +e)， 且 构造 编码 函数 为 

,~ 2Gm， 如 z"E 至 ;1， 

让 0 于 在 取 一 向 量 ， 如 zie 到; 3.9) 


se 3 了 0 。 


Q-'(u"), 如 wE U's, 


n(W") 一 (3.9) 
9 [到 一 向 量 ， 如 wr EU?， 
其 中 0-1Geo9) 为 Co 的 道 函 数 ， 而 
1173= [tn 一 QGzD):，zrE 囊 1}。 
pelf", 9)E1~ pCR <Ee (3.10) 


成 立 。 定 理 1 的 正 命题 得 证 。 反 之 ， 如 果 R<R。，, 那么 我 们 取 e。 
二 (Ro ~R)/4， 对 (3.7) 的 怪 ;,， 取 Ee =2o， 当 % 充 分 大 时 (3.8) 
式 成 立 。 如 记 
下 :一 下 "- 下" 
这 时 5( 亚 1)<eso。 我 们 现在 考虑 编码 函数 
ff"; .可 "一 Erm， On 站 1 一 本 "， 
如 果 m= (R+eu)ez， 那 么 总 有 
pCf"',9")>1/2 . (3.11) 
成 立 。 因 为 这 时 我 们 记 
及 ;={2"=g"(U"); Ww EU"), 
那么 | 可 直 过 exp[2z。CR+eo)]， 且 有 
1—pe(f”, 9°)=Pe{g"[f"(X")=X"} SPE) - 
DP( 异 1)+P( 嫩 o。 站 用 2)<<E0 + exXp( ~ 1280) 
(3.12) 
其 中 (3.14) 的 第 二 个 不 等 式 由 
了 下 1 站 本 ;7) 委 exp{2 ER+2.80 一 五 ( 琶 )} 
<exp( 一 2.71。s80) 
而 得 。 因 为 se 和 1/4， 且 当 # 充 分 大 时 ， 可 使 exp(- 21.8o) < 心 
1/4 成 立 ， 代 入 (3.14)7 江 就 得 (3.13) 式 成 立 。 定 理 得 证 ， 
由 以 上 编码 定理 可 知 ， 对 无 记忆 信 源 序列 的 消息 以 概率 1 
集中 在 一 个 具有 2(w) =exp[neHC 玉 J 个 点 的 子 集 上 上 。 仙 农 形 像 
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地 把 它 称 为 “信号 体积 ”， 也 就 是 ，vC#) 的 大 小 是 一 个 #- 维 空间 
， 中 边 长 为 exp[HCZY)] 的 正方 体 的 体积 。 这 时 及 (X) 被 称 为 < 六 
功率 ”， 
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三 章 信道 容量 与 信道 编码 定理 


§ 3.1 条 件 炳 与 交互 信息 


1,. 多 元 随机 变量 的 仙 农 业 
在 81.2 中 ， 我 们 已 引进 仙 农 粹 HCZ) 的 定义 ， 给 出 了 它 的 
来 源 与 性 质 、 它 作为 一 般 随 机 变量 (或 概率 场 ) X 的 不 肯定 性 


的 度量 被 引进 。 因 此 ， 它 可 直接 推广 到 多 元 随机 变量 的 情形 
， 了 六,) 为 一 个 #- 元 随机 向 量 ,每 个 全, 取 值 于 


设 ( 卫 1 ,了 及,,… 
下 ,空间 ， 且 具有 联合 概率 分 布 为 
pty ye 2 =p {C(I =r ))}, (1.1) 
它 的 仙 农 炉 为 , 
HCOX ,4 ) 
= 一 之 “之 pT1ses Ta)logplrt1 se Xo) (1.2) 


我 们 称 之 为 元 的 联合 仙 农 入 或 简称 联合 炳 ， 其 中 “之 为 对 全 


体 zxE 时, 求 和 ， 对 此 在 下 文中 还 要 使 用 ， 但 我 们 不 再 说 明 。 
。 了 3 。 


特殊 情形 ， 对 二 元 随机 变量 〈 筷 ，Y)， 如 它 的 联合 概率 分 布 为 


plz, y)=P,{C¥, Y)= (C7, Y)}, (1.3) 
那么 它 的 联合 箭 为 
H(X, Y)=~ > px, y)logp (2, Y), (1.4) 


以 下 我 们 总 是 记 置 、 玉 为了、Y 的 值 空间 ， 且 称 ( 陡 ,了 Y) 为 二 
元 箭 。 

引 理 1 对 二 元 篇 H( 卫 , 了) 与 仙 农 焕 昌 (对 )，HCY) 有 以 下 
不 等 式 

max{H(Z), HCY)}<HCY, Y)<HCX) +H(Y) 
(1.5) 

成 立 ， 其 中 第 一 个 不 等 式 中 等 号 成 立 的 充 要 条 件 是 子 由 Y, 或 Y 
由 确定 (也 就 是 ，Y 一 /(X) 或 了 =f(Y) 以 概率 1 成 立 )。 第 二 
个 不 等 式 中 等 号 成 立 的 充 要 条 件 是 卫 与 Y 是 相互 独立 的 随机 
变量 。 

证 明 ， 利 用 § 1.2 的 不 等 式 (2.3) 可 得 


H(X,Y)=- 之 D> plz, y)logplz, | 
>- S{ Br, |o8| Drs) 
~». 圭一 > plzx)logp(x)=H(CX), 《1.6》 


且 (1.6) S 等 成立 的 这 要 条 从 且 对 久 一 oe 下， px)>0, 
总 有 一 个 VCz)7E 到 ， 使 


,= p(z)， 如 果 y=V(z) 
0 香 则 。 


这 就 是 随机 变 景 了 出 卫 确 定 。 辐 理 可 得 HC 了 ,YY) 之 H(Y)， 且 等 
34. 
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和 
如 td Ce 


ve 


ee 


号 成 立 的 充 要 条 件 是 卫 由 Y 确 定 。 由 1.2 的 (2.9) 式 可 得 
HCX, YS<~ 2 > px,Y)1Iogip(r)g Cy)] 


=~ > DCz)Iogp (x) ~ 之 qCy)loga (y) 
=HCX) + HCY), (1.7) 
其 中 p(x) = 之 pz,Y), qy)= 之 pCx,y)， 且 等 号 成 立 的 充 要 
条 件 是 对 任何 (x,y)E 收 x 于 ， 有 pCz,V) PLT)4Cy) 成 立 。 定 
理 得 证 。 
2. 条 件 炳 与 交互 信息 


利用 多 元 随机 变量 的 联合 炳 即 可 引进 条 件 炳 与 交互 信息 ， 
定义 1 设 ( 了 XY，Y) 为 二 元 随机 变量 ， 我 们 分 别 给 出 以 下 定 


《1〉》Y 关 于 了 的 条 件 炳 ， 

HC(Y/X)=HCX, Y)~ HCX) = > SD p(x,y) logq(y /7)s 
(1.8) 

(2) 革 关 于 了 的 条 件 炳 ， 

HCX/Y)=HCX, Y)~ HCX) = S$ p(x,Y) logp(r/Y); 


. (1.9) 
《3) 节 与 Y 的 交互 信息 ， 
ICX; YY)=HCX)+ HOY)- HC(XY, Y) 
= 之 Drei Cx» VY) 《1.10) 


DCz)g(22” 
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其 中 
pz/Y) = px, Y/Y), qY/T)=D7,Y) /p72), 
条 件 炳 给 出 了 两 个 随机 变量 的 条 件 不 肯定 性 ， 也 就 是 ， 在 
一 个 随机 变量 固定 的 条 件 下 另 一 个 随 宙 变量 的 条 件 不 肯定 性 ， 
而 交互 信息 则 反映 了 两 个 随机 变量 的 相互 依赖 程度 。 
引 理 2 (1》 对 条 件 粹 有 不 等 式 
| 0<HCOY /XS<HOY), (1.11) 
其 中 HCY/) =0 的 充 要 条 件 是 Y 由 卫 确 定 ， 而 HCY/X)=HCY) 
的 充 要 条 件 是 卫 与 Y 相 互 独 立 . 
(2) 对 交互 信息 ICX，Y) 有 不 等 式 
0<ICX, Y)<min{HC(X), H(Y)}, (1.12) 
其 中 1(X，Y) = 0 的 充 要 条 件 是 站 与 了 相互 独立 ， 而 I( 琶 ，Y) = 
min{H( 玉 )，H(Y)} 的 充 要 条 件 是 Y 由 久 确 定 或 了 由 Y 确 定 ， 
证 明 ， 首 先 由 不 等 式 (1,5) 可 得 (XX ， 六 之 0 成 立 , 且 等 号 
成 立 的 充 要 条 件 是 区 与 了 相互 独立 。 因 为 
1ICX, Y=HCX) + HCY) ~ UCX, Y) 
=H(Y)- H(Y/X), 
所 以 有 HCY) 之 HCY/X) 成 立 ， 且 等 号 成 立 的 充 要 条 件 是 子 与 Y 
相互 独立 。 
同样 由 (1.5) 式 可 得 H(Y/XX) =HCX,Y) ~ HCX) 之 0 成 立 ， 
且 等 号 成 立 的 完 要 条 件 是 了 由 确定 。 这 由 交互 信息 的 定义 可 
得 
IC(X,; YY=H(Y) ~ HC(Y/X)EHOY), 
且 ICX，Y) =H(Y) 的 充 要 条 件 是 Y 由 五 确 定 。 引 理 得 证 ， 
从 引 理 2 的 不 等 式 可 以 看 到 ,交互 信息 反映 了 两 个 随机 变量 
的 相互 依赖 程度 ， 它 比 概率 论 中 的 相关 系数 具有 更 强 的 特征 。 
例如 ， 对 交互 信息 的 “1CX，Y) =0 的 充 要 条 件 是 了 与 Y 相 互 独 
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立 ” 的 性 质 ， 说 明了 交互 信息 比 相关 系数 更 能 反映 两 个 随机 变 
量 的 依赖 程度 ,相关 系数 为 零 只 是 只 给 出 了 两 个 随机 变量 X 与 Y 
相互 独立 的 一 个 充分 条 件 。 因 此 ， 在 近代 非 线 性 统计 分 析 中 ， 
常 把 交互 信息 作为 两 个 随机 变量 的 依赖 度 。 


3. 信 息 量 的 集合 关系 表示 


如 果 把 以 上 定义 的 仙 农 米 、 联 合 炉 、 条 件 炳 与 交互 信息 都 
称 为 信息 量 ， 那 么 它们 的 相互 关系 与 集合 的 并 、 差 、 交 关系 相 
似 。 如 图 3.1 所 示 ， 如 果 把 瑟 ( 和 )， 后 (Y) 看 作 基 集 ,那么 相应 的 
联合 篇 、 条 件 炳 与 交互 信息 就 为 基 集 的 并 、 差 、 交 。 这 样 我 们 
可 以 用 以 下 关系 表示 。. 

信息 量 的 并 ,HCXVY)=HCX, YY) 

信息 量 的 差 ，HCX\Y) =HCX/Y)， 

HCYNX)=H(Y/X); 
信息 量 的 交 ，HCXYA 人 人 Y) = 工 和 TY)。 


以 上 讨论 可 直接 推广 到 多 元 随 : 
机 变量 的 情形 中 去 。 也 就 是 ,除了 元” 站 
由 上 述 并 、 差 、 交 运算 产生 的 信息 

量 之 外 ， 还 可 由 它们 的 混合 运算 产 和 

生 各 种 新 的 随机 变量 。 例 如 ， 由 三 


个 随机 变量 邯 、Y、2Z 的 基本 信息 集 


H(X),.HCY) 与 H(Z) 的 交差 混合 运 1(X1Y) 
算 可 产生 条 件 交 互信 息 ， 图 3.1 信息 量 的 集合 关系 表示 
IX, Y/2)=HI(XANY)\Z) 
一 SS DC 291 plx,Y/2) : 
之 之 之 PC 2) Og Tr p72 。 (1.13) 


在 GQ.13) 中 ，pCz5y,2) 是 (X,Y,Z) 的 联合 分 布 ， 击 相应 的 条 件 
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分 布 、 边 际 分 布 都 可 由 p(z,V,z)7 确 定 如 下， 


一 p(X,Y,2) _ P(x,2) 
pr,Y/2) 7D pC7/2) = cay 9 


qd(y, 2) 
9/2) = 。 


其 中 


p(X,2) = > p(X,Y,2), qty,2)= > px,Y,2)s 


六 2 = 2 P(x,2)= > q(y,2), 


由 三 个 随机 变量 全 、Y、Z 的 基本 信息 集 HCYY)、HCY) 与 
H(Z) 的 并 、 差 , 交 混 合 运 算 产 生 的 各 种 信息 量 如 图 3.2 所 示 . 其 
中 每 一 块 子 集 均 可 代表 一 种 信息 量 。 如 

集合 I 表示 H[XYN\NCYV2)]， 

集合 耻 宕 示 HEC(X 人 Y)\2)]， 

集合 I， ， 丁 的 并 表示 fa 


HI(XVY NZ)]. /a W 

对 此 就 不 一 一 列举 了 。 需 CN 
要 说 明 的 一 点 是 这 些 信息 量 都 
可 用 类 似 于 (1.13) 的 关系 式 表 


示 ， 它 们 由 联合 分 布 pP(X,y,2) 
完全 确定 ， 图 3.2 ”三 个 随机 灾 午 的 信息 最 的 集合 关系 


4, 条 件 交 互信 息 的 性 质 


利用 概率 论 的 分 布 性 质 可 得 到 条 件 交 互信 息 的 各 种 性 质 ， 
对 此 概述 如 下 ， 
C1) 不 等 式 (1,12) 可 推广 到 条 件 交 互信 息 情 形 ， 这 时 
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0<ICX, Y/Z)<min(HCX/Z), HCY/2)}, (1.14) 
且 I( 且 ，Y/Z) =0 的 充 要 条 件 是 (了 YX，Y) 关 于 Z 条 件 独 立 ， 也 就 
是 有 

pT,Y/2) = p(X/2)9(Y/2) 
成 立 。 而 ICX; Y/2Z)=min{H(X/Z)，H(Y/2Z)} 的 充 要 条 件 是 
六 由 CY，2Z) 确 定 或 Y 由 (XX，2Z) 确 定 .。 
《2〉 如果/ 是 一 个 从 于 一 吾 的 单 值 映射 ， 那 么 必 有 
ICX; Y)>ICX, fC(Y)) (1.15) 
成 立 , 且 等 号 成 立 的 充 要 条 件 是 1(y) 是 一 个 1 一 1 映射 ,由 (1.15) 
即 可 推出 对 任何 随机 变量 全 ，Y，Z 有 | 
ITX(Y, 2))>1(X, Y) (1.16) 
成 立 ， 且 等 号 成 立 的 充 要 条 件 是 下 一 Y 一 Z 是 一 个 马 氏 链 (Mar 一 
kov 链 )， 也 就 是 ，( 开 ，Z) 关于 Y 条 件 独 立 ， 
(3) 柯 尔 莫 各 洛 夫 (Kolmogorov) 公 式 。 对 任何 随机 变量 
年，Y，Z 总 有 关系 式 
I[XyY,2)]=ICX; Y)+IC(X, Z/Y) (1.17) 
成 立 。 
定理 中 ,(1) (2) 的 证 明 与 引 理 2 相同 ， 性 质 (37 的 证 明 由 概 
率 分 布 的 性 质 可 得 ， 对 此 可 见 [26] 文 详 述 。 


8$3.2 信道 容量 及 其 性 质 


1, 信 道 容 量 的 定义 


信道 与 信道 编码 的 定义 在 $ 2.1 中 已 经 给 定 , 如 8 2.I 所 记 ， 
设 
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=[V, pC/W, V1] (2.1) 

为 信道 。 我 们 称 玉 上 的 概率 分 布 S,.= [五 ，pCw)] 为 信道 的 入 口 
分 布 。 如 果 信 道 C 与 信道 入 口 分 布 全. 给 定 ， 那 么 信道 的 输入 、 
输出 信号 的 概率 分 布 确定 为 . 

plu, Uv)=PpW) * pCOV/W), WwEV, veEV, (2.2) 
我 们 记 U、V 为 相应 的 信道 输入 、 输 出 信号 随机 变量 ,具有 联合 
分 布 

P,{(U，V) 一 (ut， v)} =p(u, 90), 
这 时 (U，V》 的 交互 信息 为 


ICU; V , 0) log_BGe 0 ， 
TU V)= > Zp VlogT ens 2.3) 


其 中 p(w)、qCv》 分 别 为 随机 变量 U,V 的 概率 分 布 。 因 为 《U， 
V) 的 联合 分 布 由 信道 C 与 入 口 分 布 仿 ,确定 ,因此 我 们 又 记 (2.3) 
的 交互 信息 为 I(U; V)=I1CS,.， C)， | 
定义 1 对 已 给 信道 C=[UV，pCv/w),， Vj， 我 们 称 
CC)=sup{I(S,; €), SESCUV)} (C2.4) 
为 信道 C 的 信道 容量 ， 其 中 SCU) 为 全 体 U 上 的 概率 分 布 。 


因为 态 (U)={(p(W),WED)， pC) 之 0， 之 了 P(W)=1} 是 


一 个 凸 闭 集 ， 而 1(S,,C) 是 (p(w)，w 如) 的 连续 函数 ,因此 有 
CCC)=max{l(S,; C), S.€ SCU)} (2.5) 
成 立 。 这 时 ， 有 一 个 入 口 分 布 写 ,,。= [如 ，po(w)] ES(UV), 使 
1S,,o, C)=CCC)=max{l[ S$,C1, S$,€ SV)} 
(2.6) 
成 立 。 | 
对 已 给 多 重信 道 C"=[U";pCv"/w)，WV"]， 我 们 同样 可 引 

进 它 的 信道 容量 
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CC)Emax{I($:,C"), SESCU')} (2.57) 
其 中 与 (VU") 为 全 体 UV" 上 的 概率 分 布 ， 相 应 的 元 为 仿 :， 这 时 
ICUr，Vy = > > pw clog De ， 
(2.37) 
其 中 ICU VD=1CS25CD)， 而 DG ，qd(o 与 (2.3) 的 PC 、 
4(v) 类 似 定义 。 


2, 无 记忆 信道 的 信道 容量 
对 已 给 多 重信 和 道 序列 
C={C"=[U", pv/W), Vl], #=1,2,3.}, 
(2.7) 
邵 困 . 
一 (CU WUEU, v=(V01, V1)s vED, 
而 县 
DC 一 po /un), | (2.8) 


那么 ， 我 们 称 C" 是 由 C=[UD，pCv/WD， 玉 Vj 产生 的 #- 重 无 记忆 
信道 , 
定理 ? 如 果 C" 是 由 C 产 生 的 #- 重 元 记忆 信道， 那么 有 
C(O = COC) | (2.9) 
成 立 ， 其 中 CCC")，CCC) 分 别 为 信道 C" 与 C 的 信道 容量 ， 
证 明 ， 对 ”- 重 无 记忆 信道 C", 如 果 pCw") 为 任 一 入 口 分 布 ， 
如 果 pCu") 给 定 ， 那 么 信道 C' 的 输入 、 输 出 随机 变量 (U0",V") 确 
定 。 这 时 
ICUs, V:)=HCV") -HCYV"/U") (2.10) 
为 随机 变量 (UV"，V") 的 交互 信息 。 如 果 记 
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LPm=(D， 9 也)， Y=(7i， ***9 Vi)s 
那么 由 联合 糯 的 性 质 可 得 


HV YS BHOV,) 


i=1 


成 立 。 由 (2.8) 式 可 得 


HOV"/U)= D> Spur, vr)1ogplv"/u’) 


a 


(2.11) 


= 5 pw, oo| Slogp Gow/un) | 


fei 
= ZS HOV/U), (2,.12) . 


将 (2.11)、(2.12) 代 入 C2.10) 即 得 


IU", VO LHOV) ~ HOV /UN 


iml 


= > ICU Vn. CCC) 《2.13) 


f=l 


成 立 ， 因 为 p(w") 是 C" 的 任意 入 口 分 布 ， 所 以 必 有 CCC”) 和 <。 
CCC) 成 立 。 
另 一 方面 ， 如 我 们 取 
poCUD) 一 poCUI) XDoCU 7 XXXPDoCtD) (2.14) 
为 C" 的 入 日 分 布 ， 其 中 po Cu) 为 使 (2.6) 成 立 的 入 口 分 布 。 这 
时 相应 的 联合 分 布 为 


PC 0 一 BoCGDIPCOAD = TI pe，p0， 
(2.15) 
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其 中 po Ct，v)=po CDpCv/w)， 如 果 我 们 记 IoCU";V")，IoCUs 
让) 分 别 为 由 联合 分 布 po Cw'， v"), Po (KH, 9) 决定 的 交互 信息 ， 
那么 由 (2.15) 即 得 


TU VD= DIY, Vr. CC) 


成 立 ， 由 信道 容量 的 定义 可 知 16CV0" ;VCCC") 必 成 立 ， 因 
此 有 2?*。C(CC) 入 CCC") 成 立 。 结 合 本 定理 的 第 一 部 分 证 明 即 得 
鸭 ，。CCC) = CCC") 成 立 ， 定 理 得 证 。 


3. 若 干 典型 信道 及 其 容量 

由 信道 容量 的 定义 可 知 ， 当 信道 C 给 定时 , 它 的 容量 C^C) 
是 唯一 确定 的 ， 在 一 般 情 形 ，CCC) 可 由 人 坊 .， 人 CC] 函 数 对 入 口 
分 布 PCw) 求 条 件 极 值 而 得 。 以 下 我 们 讨论 几 种 在 通信 中 常见 的 
典型 信道 及 它们 的 信道 容量 ,它们 是 二 进 对 称 信道 ,2- 信 和 道 与 
M- 信 道 ， 它 们 的 构造 如 图 3.3 所 示 。 


10 ~ .0.1 
1 1l—e 1 
(2》 二 进 对 称 信道 《b)》 世 -信道 (cy M- 信 道 
. 图 3.3 


对 这 三 种 信道 ， 我 们 描述 它们 的 信道 转移 概率 (条 件 概率 ; 
与 计算 它们 的 联合 概率 分 布 、 交 互信 息 与 信道 容量 。 因 为 这 三 
种 信道 的 输入 信号 字母 表 都 是 二 元 集合 政 ={0，1)}， 因 此 我 们 
记 它 们 的 入 口 分 布 为 
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pl1)=7, pC(0)=4d=1-p, 0<p<1, (2.16) 
(1》 二 进 对 称 信道 (不 失 一 般 性 ， 取 p，E 志 0.5)。 
转移 概率 ，pC0/A0)=p(1/1)=1-e， 


pC1/0)=p(0/1)=8,; (2.17) 
联合 概率 分 布 ，pC0，0)=p(1,，1)=(1~e)p， 
pll, 0)=p(0, 1)= ge; (2.18) 
交互 信息 ; (VU; V)=HCpte~2pe)-H(le); (2.19) 
信道 容量 ，C(C1)=1-H(e)， (2.20) 
其 中 HC0)= ~6log6 ~(1~6)log(1-60). | 
《2) Z- 信 道 ， 
转移 概率 ，pC0A0)=1，p(1A0)=0, Pp(1/0)=1~-E， 
pO0/ 1D)=e; (2.17) 


联合 概率 分 布 ， PC(0，0)=pt+ge,，p(0，1)=0， 
BCL 0)=4ge,pC1l, 1)=4(1-8); (2.18’) 
交互 信息 ; 1CU; V)=HCp+qe)~a. Hl(e); . (2.19’) 
信道 容量 ，CCCs)=H(ps。 + 408)~gq,* HC(e)， (2.20”) 
其 中 gu=1-~ Do， 而 po 为 方程 
(1~ée)log[trCp, 2)1~ H(e)=0, (2.21) 
之 解 ， 其 中 r(p，e)=[(1-8)4] -1 
(3) M- 信 道 ( 不 失 一 般 性 ， 取 p 志 0.5)、 
转移 概率 ，P(0A0)=pC(1/1)=1-。， 
P(A/OW=707/1)=0, 
pC2/ =p2/ 1) = 《2.172) 
联合 概率 分 布 ，p(0，0)=pP(1，1) =0，D(0，2) 一 De， 
p(1, 2)=4gé 
pC0, 0)=(1~e)p, pl1l, 1)=(1~ 8)4q; 
(2.18”) 
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交互 信息 ，I(U，V) 三 (1 -e)H(Cp)) (2.197) 
信道 容量 ，CCC:)=1-e。 《2.207) 


§ 3.3 无 记忆 信道 的 编码 定理 


1. 信 道 序列 的 编码 问题 


形象 地 说 ， 所 谓 信道 序列 的 编码 问题 就 是 有 多 少 信 息 可 以 
通过 给 定 的 信道 。 在 一 个 实际 的 通信 问题 中 ， 信 道 的 客观 物理 
条 件 (如 通信 设备 、 线 路 情况 、 传 递 的 消息 范围 及 其 概率 分 布 
情况 等 ) 是 完全 确定 的 ， 但 是 其 中 信号 的 结构 形式 是 可 以 作 适 
” 当 调 整 的 。 所 谓 信息 在 信道 中 通过 一 般 指 这 些 信息 能 正确 的 经 
过 信道 无 误差 地 传 给 对 方 。 因 此 ， 信道 序列 的 编码 问题 就 是 指 
对 固定 的 通信 序列 

E'= {S$", C"}={[R", p(x") LU", pO /Ww'); WV"]} 

N=123,.", (3.1) 

导 找 适当 的 编码 函数 Cf"，9")， 它 们 分 别 为 

f", >U", 9， 本 "一 时。 (3.2) 
的 映射 。 由 8 2.1 的 讨论 可 知 ， 如 果树 "'，( 六 ，9") 给 定 , 那么 
通信 系统 的 输入 、 输 出 消息 与 信号 的 随机 变量 CX"，U"*,V"， 
Y") 确 定 ， 它 们 的 联合 分 布 为 

px", WwW, Vv", Y") . 

= pr )f "Ww /I DU /WG YS 0 (3.3) 
其 中 | 

nn /ns fl， 加 w'=f/"(x"), 

Fe/ 否则 ， 
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wn om 1 如 y"=g"(v") 

ow /ot 否则 ， (3.4) 
在 本 节 中 ， 我 们 取 、 

下 "="={1,2,..,M"}, (3.5) 

P(x")=1/AM"， 对 任何 "ER"。 (3.6) 


定义 1 称 R 为 信道 序列 @" 的 一 个 可 达 速 率 ,如 果 存 在 一 个 
由 (3.5)、(3.6) 给 定 的 信 源 序列 号 "， 对 任何 s 之 0， 只 要 #% 充 分 
大 ， 就 有 


”Mexp:[z。Ro(I-e)]， (3.7) 
且 有 一 列 适 当 的 编码 函数 (f"，9")， 使 得 平均 误差 概率 为 
pelf", 9")=P,{X"z¥Y'") <e, (3.8) 


其 中 互 "，U，V" Y "为 由 全"，C”",(f"，g") 确 定 的 随机 变量 。 
全 体 可 达 速 率 的 上 确 界 R。 为 最 大 可 达 速 率 ， 这 时 对 任何 尺 ' 之 
有 Ro， 总 有 一 个 euo>>0， 对 任何 N>>0， 总 有 一 个 #>N， 只 要 
M">>exp:[4，Ro。(1-so)]， (3.8’) 
那么 对 任何 编码 函数 (f"，g")， 必 有 pe(f"，g9") >8。 成 立 ， 
信道 序列 的 编码 问题 就 是 对 已 给 的 信道 序列 C"，#=1,2， 
…， 求 它 的 最 大 可 达 速 率 。 在 有 些 文献 中 ， 也 把 最 大 可 达 速 率 
称 为 信道 容量 。 为 了 区 别 起 见 , 在 本 书 中 我 们 给 以 不 同 的 称呼 ， 
它们 在 一 定 条 件 下 相等 ， 


2. 信 道 序列 的 正 编码 定理 


在 本 有 段 中 ， 我 们 先 讨论 信道 序列 的 正 编码 定理 ， 也 就 是 找 
出 有 关 信 道 的 可 达 速率 。 

定理 1 《无 记忆 信道 序列 的 正 编码 定理 )， 如 果 C" 为 由 C 
生成 的 无 记忆 信道 序列 ,那么 信道 C 的 容量 CCC ) 为 信道 序列 C" 
的 一 个 可 达 速 率 ， 
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证 明 ， 对 这 个 定理 的 证 明 方法 有 多 种 。 在 本 书 中 我 们 采用 
随机 码 的 方法 来 证 ,这 个 方法 比较 巧妙 地 运用 了 概率 论 的 工具 ， 
因此 比较 简单 ， 且 在 其 它 编码 理论 中 还 有 应 用 。 对 本 定理 的 证 
明 要 点 如 下 ， 

(1) 随机 编码 ， 设 号" 为 由 (3.5)、(3 .6) 给 定 的 信 源 序列 ， 
记 @" 为 由 (2.10) 给 定 的 无 记忆 信道 ， 而 

SS, oo=[U, pou)], S$, ,=[U",poCu")], (3.9) 
分 别 为 信道 C，C* 的 入 口 分 布 ， 由 (2.6)，(2.15) 给 定 。 以 下 
记 


Us={U:, Ui, »*, Un*«} (3.10) 
为 一 组 独立 同 分 布 的 随机 向 量 ， 每 个 

U;}=(U, 1, Ui, 2,, ,Uj, 1) (3.11) 
为 在 WV" 中 取 值 ， 具 概率 分 布 p,Cu")。 记 如 ?的 样本 值 为 

w={Wi, Ws 0 Wa}, (3.10’) 


定义 1 一 个 随机 编码 请 * 是 一 个 从 下 "= {1,2，，…，M"} 到 
Ui={01,， Ui,，…，U*} 的 映射 。 这 时 
f*D=U?, i=1, 2, »*, M", (3.12) . 
一 个 随机 编码 f"* 的 样本 值 是 一 个 从 肢 " 到 如 ;的 映射 f"， 这 
时 
f=u, i=1,2,.,M" (3.127) 
C2》 信息 门限 译 码 函数 . 
对 一 个 (3.12 ) 的 编码 "(i) 二 w?， 如 果 v"= (v4,…，v,) 
. 是 一 个 信道 和 "的 接收 信号 向 量 。 我 们 构造 一 个 译 码 函数 9" 是 一 
个 从 到" 到 殖 "= 下" 的 映射 ， 由 
六 如 果 训 GO 2”) 之 Ke 
go) 一 {th 任 取 一 入 ， 否则 (3.13) 
定义 ， 其 路 " 为 一 个 适当 的 门限 信 ， 它 的 取 值 在 下 文中 给 出 ， 
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而 i,tw"，w") 为 联合 分 布 poCu"，v") 的 交互 信息 密度 ， 由 


于 入 ny) 一 PoCuU"， v") - 

a0, 0) logT Gor) gre (3.14) 
定义 ， 其 中 qoC0") = 立 DG un)。 我 们 称 这 个 译 码 函数 为 信 
息 门 限 译 码 函 数 ， 


《3) 随机 码 的 平均 误差 概率 . 

在 本 节 2-(1)，(〈27? 段 的 讨论 中 ， 我 们 给 出 了 信 源 、 信 道 序 
列 S$"，C' 与 编码 函数 (f"，g") 的 定义 、 因 些 ， 相 应 的 误差 概 
率 peCf"，9") 确 定 。 所 谓 随机 码 的 平均 误差 概率 就 是 指 在 编码 
函数 户 为 随机 编码 f"* 时 相应 误差 概率 的 平均 值 ， 我 们 记 之 为 
peelf"*, 9"). 

为 了 估计 psa(f"*，9") 的 值 ， 对 阁 定 的 发 送 消息 i, 我 们 记 
相应 的 发 送信 和 号 与 接收 信号 为 U1，V?， 这 时 CU?,，V?) 的 联合 
概率 分 布 为 

P{(U?, Vi)= C0, v)}=po CW, 0"), (3.15) 
其 中 poCw"，v") 由 (2,17》 定 义 。 

对 j 大 i 的 情形 ;我 们 记 U? 为 发 送 消 息 j 时 的 信道 输入 信号 ， 
而 V ?为 发 送 消 息 i 的 接收 信号 。 这 时 U3 与 V? 的 二 个 相互 独立 的 
随机 变量 ， 它 们 的 联合 概率 分 布 为 

piCu", v0")=P {UT VI) = v0)}= po (ug C0"), 
. | . : (3.15’) 
其 中 polur"，v") 由 《2.16》 定 义 ， 而 qo (0) = 卫 poCw'; 0)。 

为 了 估计 pareCf"*，9") 的 值 ， 我 们 还 必需 分 析 产 生 误差 

pwelf"*,9") 的 原因 ,对 此 定义 产生 pwrz(f"*,9") 的 两 类 误差 ,以 
» 48. 


Py :Cf”*，g")==P,{ 输 入 消息 i 时，g"(V?) 寺 让 ， 
| (3.16) 
PiniCpP+，9)=P.( 输 入 消息 ;时 ， 
有 一 个 j 关 i， 使 g"(V?)= 计 。(3.16”) 
我 们 分 别称 


pt, 9) = DS pai"*,g") a=1, 1, C3.17) 


为 随机 编码 的 第 一 、 二 类 平均 误差 。 这 时 有 
PaveCf™*, 9°) EPpICf"*,g') + pif"*, 9") (3.18) 
成 立 。 另 一 方面 ， 又 由 随机 编码 的 概率 分 布 的 对 称 性 可 得 
piCf"*, g")=D1, 1(f"*,9"), 
Prdf"*,g")=P1, Cf"*, 9g") | 
对 任何 i=1,2，…， M" 成 立 。 因 此 ， 在 下 文中 ， 我 们 只 要 
个 计 pr 1Cf"*，g9") 与 pn; 1C(f**，g") 的 值 就 可 。 
(4) pr 1Cf"*，9) 与 pn 1 *，9") 的 估计 。 
为 估计 pr 1Cf"*，g") 与 pn 1《f"*,9") 的 值 ,对 任何 e 之 0, 我 
们 首先 取 M" = exp;[n。R。(1 2]， 其 中 R=CCC) 为 信道 和 的 
信道 容量 ， 而 选取 (3.13)〉 的 门限 值 为 K*=n。，R。(1 ~e/2)， 
这 时 对 第 一 类 误差 的 估计 式 为 . 
pr Cf"*, 9)=P, {i Us, Vi)<K'). (3.19) 
”因为 C01,，V?7) 的 联合 分 布 P,Cw"，v") 是 (2.17) 的 乘积 分 
布 ， 因 此 它们 的 分 量 《U,V 1 让) 是 独立 同 分 布 的 随机 变量 ， 
且 联 合 分 布 为 (2.17) 中 定义 的 D, Cw，v)。 这 时 ， 由 大 数 定 律 可 
得 | | 
i, 0) = Di 0 HO>BE(i CU, V)} 


KF=1 


=C(C)=R, (3.20)- 


lf 和 
HT 
~ Ye 


其 中 “一 ”表示 久 概 率 收敛 的 极限 ， 而 吾 {Z} 为 随机 变量 Z 的 数 
学 期 望 ， 由 关系 式 (3.197)、(3.20) 即 得 ， 对 任何 se>0， 只 要 nn 
充分 大 ， 就 有 
pCf"™*,g")=pr 1Cf"*, 9 ) Ce/2 (3.21) 
成 立 ， 对 第 二 类 误差 概率 的 估计 有 
Pr; 1(f"*, 9") 
二 P,{ 有 一 个 j 天 1， 使 i,(U?; V1) 宇 K"} 
SM"~1) «PP,{iU;, VI)>FK"} (3.22) 
成 立 ， 其 中 不 等 式 由 (VU;，V':)，j 沽 1， 的 辣 分 布 性 质 而 得 。 因 
为 (CU?,，V') 的 联合 概率 分 布 是 p14"，v") 由 (3.15’) 定义 ,如 
我 们 记 
A = KD={ CW", 0 iur, v0")>>K')}., 
(3.23) 
那 ， 对 任何 (tn"，z7EI， 总 有 
ioCu", v")=1l0g{po Cu", vy")/LPo CW") qo 0")1}> KE" 
成 立 ， 此 即 有 
PiGi v")= po W)C0") Ep CU, vexXp,C— Kr') 
(3.24) 
成 立 ， 因 为 对 任何 (uw"，v") EL; 总 有 《3,24) 成 立 ， 因 此 必 有 
p14)<p. (i)exps(-K')<exp,C-K") (3.25) 
成 立 。 由 (3.22)，(3.25) 与 M"， 司 的 到 值 可 得 
Pi Cn*，0) 去 (M" -1)。DI( 有 3) 
<exps [no Re (1~e)+K"]=exp,(~n .2€/2)—0, 
当 n 一 co 时 。 这 样 ， 当 w 充 分 大 时 ， 就 有 
pif"™*, g")=pi 1 Cf"*, 9")<Ee/2 (3.26) 
成 立 ， 由 关系 式 (3.18)，(3.21) 与 (3.26) 即 得 paysCf"*，g") 专 
z。 此 妈 R= CCC) 为 可 达 速 率 。 定 理 得 证 。 
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3 .一般 信道 序列 的 反 编码 定理 
在 定理 1 中 ， 我 们 给 出 了 无 记忆 信道 序列 的 正 编码 定理 ,该 
定理 确立 了 无 记忆 信道 的 信道 容量 CC(C) 是 一 个 可 达 速 率 。 我 
们 现在 讨论 它 的 反 编 码 定理 ， 也 就 是 证 明 这 个 信道 容量 CCC) 
是 无 记忆 信道 序列 的 最 大 可 达 速 率 。 为 此 我 们 先 给 出 一 个 常用 
的 不 等 式 。 
引 理 1 〈 法 诺 (Fano) 不 等 式 )。 设 于、 了 是 两 个 随机 恋 量 ， 
在 下 = 至 上 了 到 值 。 如 记 pe= P.{ 开 革 Y， 那 么 有 
HCX/AY)SEH(pe) +pe。log( 上 下 1 一 1)， (3.27) 
其 中 HCX AY) 是 条 件 焙 ,HCP)= 一 prlogp 一 (1 一 Pp)'log(1 一 p)。 
证 明 ， 如 记 p(z， 幻 是 随机 变量 (了 ，Y) 的 联合 概率 分 布 ， 
而 
有 准 ,={C7X,， 9); X=Y)}， 闪 1 一 (C(x,，Y): YY} 


是 下 xx 下 的 两 个 子 集 ， 这 时 有 P( 恒 一 1 一 pe，1( 寿 1) 三 Do。 


如 我 们 定义 Z=/(X,Y) 为 一 个 由 (X,Y 了 ) 确 定 的 随机 变量 ， 
其 中 f(x， 引 = 0 或 1， 分 别 当 (z，2 E 失 , 或 看 ,时 ,这 时 CX， 
Y，2Z) 的 联合 概率 分 布 为 | 
p(x, Y)， 如 2=f(z， y) 时 ， 


plx, VY, 2 上 否则 ， 


由 条 件 烦 的 定义 可 得 
U(X/W=— SF plr, Yy, 2)logp(r/Y) 
= Br) 之 Eplr,y2) /rz)] 
| "logLpC(X/W)J1!, 
其 中 r(z) = 了 DpCx,y,;2)。 这 时 有 这 Lp(Z,y,2)A7(z)] 二 1 成 
sr 3,. 8 
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立 ， 而且 有 7rC0)=1~pesrC1)=po。 因 为 (7)=1ogp 在 Pp 的 定义 
域 中 是 一 个 于 凸 函数 ， 因 此 有 
百 ( 刁 ATYD) 近 六 rr(z)。logftr(z2)-1。 


> [PCy,2) /rz))} 
=~ Dr(z)logr() + Dr(z). 


log > [pr,Y,2) Ar(Cz)] 
=H(pe) 十 pe，log(1 下 让 -1) (3.28) 


成 立 。 因 为 这 时 有 
DS [pz 1 /pA/Y)] 


一 p> DS [pr, WA/PEA DN] 


= 5 TawW= Fri~q)1= ll -1 


rT Ys 


SLpxsy,0 /pAY)) 
= 5 Srp, W/or/ WD 


= D942)=1, 


《3.28) 就 是 所 求证 的 不 等 式 (3.27)。 引 理 得 证 ， 

定理 2 无 记忆 信道 序列 的 反 编码 定理 )。 设 C'"，*==1， 
2，3，…， 是 一 个 由 信道 C 生 成 的 无 记忆 信道 序列 ， 则 信道 容 
量 R。=C(C) 是 C' 的 一 个 最 大 可 达 速 率 , 这 时 对 任何 R 之 R, 都 
不 能 是 C" 的 可 达 速 率 。 
证明 : 利用 法 诺 不 等 式 即 可 证 明定 理 ， 对 此 用 反 证 法 证 ， 
如 果 有 一 个 R'>>Ro 是 CC" 的 可 达 速 率 ， 那 么 对 任何 >0, 总 有 一 
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个 由 (3.5) 与 (3.6) 定 义 的 信 源 序列 祝 ， 其 中 M"=exp, fn。R’。 
(1~8)]， 与 一 个 编码 序列 (J"，9")，#= 二 1，2，3，*…， 和 使 
pe=pe(f”", g")=P,{(X"#Y"}<e (3.29) 
成 立 ， 其 中 CXY"，U，V"，Y') 为 由 仿 '，C"，(f", 9") 确 定 是 随 
机 变量 。 这 时 由 法 诺 (Fano) 不 等 式 可 得 
CX"/Y") EH(D) + p. log(M" — 1) 
<1+8。s， 有 R' (LI-8) 
成 立 ， 这 时 : 
ICX", Y")=HCX") — HCX"/Y') 
之 logM"~-1~n.e. R’.(1~E) 
一 1 及 /CT 一 272 一 工 (3.30) 
成 立 。 因 为 六 =g"(V") 是 由 V* 确 定 的 随机 变量 , 而 了 "与 让 是 关 
于 V" 条 件 独立 的 随机 变量 。 这 时 由 8 3.2 引 理 2 可 得 
TOX" Yo <ICI"; V9 扫 I[(X，UD7 Vr] 
=1(U", Y") (3.31) 
成 立 , 其 中 最 后 一 个 等 式 由 柯 尔 莫 各 洛 夫 公式 而 得 。 由 (3.30)、 
《3.31) 及 信道 容量 的 定义 可 得 
CCC) 三 ICU VIOn. R'. (1 -28) 一 1。 
如 我 们 选取 s 为 一 个 固定 的 eu， 使 0(<ee<minL1/8， (CR -及 )/ 
4]， 那 么 
及 。 (1~260)>(R, +46,)(1 ~ 280)=R, +2e, ~ 8e3 
之 及 ,+ 8 
成 立 。 这 时 
COC Re (Ro+E) -1, 
因此 当 # 完 分 大 时 必 有 CCC >>n，R,=n。C(C) 成 立 ， 这 与 
§ 2.2 的 定理 1 矛盾 。 因 此 R >>CC(C) 不 能 是 C" 的 可 达 速 率 ， 定 
理 得 证 。 
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由 定理 1 定理 2 的 结果 可 知 , 无 记忆 信道 的 最 大 可 达 速 率 就 
是 它 的 信道 容量 。 这 两 个 定理 反映 了 无 记忆 信道 在 信息 传递 中 
的 基本 特征 ,因此 在 许多 文献 中 ,把 这 两 个 定理 称 为 信道 编码 的 
基本 定理 。 信 道 编码 的 理论 涉及 问题 很 多 ,例如 ,有 记忆 信道 编 
码 定 理 , 多 用 户 信 道 的 信道 编码 定理 ;信道 容量 的 计算 问题 ， 信 
道 编 码 的 误差 估计 间 题 及 信道 编码 的 工程 实现 问题 等 。 对 信道 
编码 的 工程 实现 问题 我 们 在 下 节 中 作 一 个 简介 ， 对 多 用 户 信道 
的 编码 问题 在 第 五 章 介绍 .而 对 其 余 的 问题 本 书 就 不 作 详 述 了 ， 
有 兴趣 的 读者 可 参阅 有 关 文 献 。 


83.4 纠 错 码 简介 


1 .编码 理论 的 工程 实现 问题 . 

在 8 3.3 中 ， 我 们 给 出 了 信道 编码 的 基本 定理 ,该 定理 反映 
了 信道 在 理想 情形 下 的 信息 传输 能 力 。 这 个 理想 情形 就 是 指 在 
保证 通信 质量 〈 消 息 传递 误差 很 小 ) 的 条 件 下 ， 传 送 尽 可 能 多 
的 信息 。 为 实现 这 个 目的 ， 从 以 上 基本 定理 的 证 明 可 知 ， 信 道 
编码 运算 必需 在 信号 段 上 进行 ， 这 种 编码 方式 在 通信 工程 中 称 
之 为 分 组 编码 。 定 理 1、 定 理 2 告诉 我 们 ， 这 种 理想 状态 的 编码 
是 存在 的 。 但 另 一 方面 ， 从 工程 应 用 的 角度 来 看 ， 仅 停留 在 存 
在 性 问题 的 讨论 上 是 不 够 的 ， 工 程 师 们 不 仅 要 关心 理想 情形 下 
的 指标 ， 而 且 更 关心 的 是 如 何 实现 这 些 指 标 。 当 分 组 码 的 长 度 
# 较 大 时 ，U "空间 的 结构 是 十 分 复杂 的 ，§ 3.3 的 定理 1 证 明 中 
的 编码 与 译 码 算法 在 计算 机 上 都 是 无 法 实现 的 。 编 码 理论 的 工 
程 实现 问题 要 求 编码 与 译 码 函 数 的 算法 都 是 易 计算 的 。 对 此 必 
需 借助 于 代数 工具 。 
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为 了 简单 起 见 ， 在 本 节 中 我 们 取 朴 = 了 = 到 :={0,1}， 它 
们 分 别 代表 无 、 有 脉冲 信号 ， 且 为 一 个 二 元 域 ， 相 应 的 四 则 运 
算 可 由 一 定 的 逻辑 电路 运算 实现 . 这 时 六 重信 号 空间 为 U"= 
V "= FF;， 相 应 的 信号 向 量 为 
UW=(U, Way oy HU) WV"= (VI, Vs, Ee V1), 
其 中 心 ，u = 0 或 1，1=1，2，…，##。 我 们 以 下 记 $"= C0，0， 
…，0) 为 w#- 维 零 向 量 ， 


2. 线 性 分 组 码 与 它 的 纠 错 能 力 


我 们 称 WV" 的 一 个 子 集 为 一 个 分 组 码 或 - 维 分 组 码 。 对 
任何 w，vE€ 加， 定义 


0， 如 果 &= 由 
d = 
“us ©) { 如 果 v 和 os 
而 称 | 
duu", v")= Ddn(u, v3) | (4.1) 


i=l1 


为 w" 与 "的 汉 明 (Hamming) 距 离 ， 而 称 
du(u")= > dy(u:, 0) (4.2) 


为 向 量 w" 的 汉 明 势 。 如 果 栈 5 为 UV "的 一 个 分 组 码 ， 那 么 我 们 称 
dua(U)=min{dy(W, 9"), wrEVUs} (4.3) 
为 分 组 码 灵 ;的 汉 明 距离 。 
由 以 上 的 定义 可 知 , 向 量 w*"，v’ 的 汉 明 距离 就 是 w”，v" 中 不 
同 分 量 的 个 数 ， 而 向 量 如 的 汉 明 势 就 是 ze 中 非 零 分 量 的 个 数 ， 
定义 1 (1) 称 分 组 码 政 : 具有 二 纠 错 能 力 (或 称 ~- 纠 错 
码 )， 如 果 对 发 送 任何 到 :中 的 一 个 向 量 , 在 传递 误差 不 超过 + 个 
分 量 时 ， 存 在 适当 的 译 码 方法 ， 能 自动 纠正 误差 。 
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(1) 称 分 组 码 政 ;具有 s- 检 错 能 力 (或 称 s- 检 错 码 ) ,如 果 发 
送 朴 :中 的 任何 一 个 向 量 ， 在 传递 差错 不 超过 s 个 分 量 时 ， 存 在 
适当 的 译 码 方法 ， 能 自动 发 现 误差 。 

， 扩 纠 检 错 码 与 S- 检 错 码 的 数学 描述 是 这 样 。 如 果 有 一 个 从 - 
"到 如 ,的 映射 rr"”， 对 任何 vw" EV"，w"* CE WV;，， 有 如 下 性 质 ， 

(1》 邵 果 dnCwr，o") 壹 t， 那 么 "Cv") =w', 这 时 要 ? 为 1- 纠 
错 码 。 

(2) 如 果 daGu，2 ss， 那 么 mm Er ;， 这 时 三 ;为 ;- 检 错 
码 ， 

以 上 这 种 码 的 自动 纠 错 与 检 错 的 功能 是 信息 处 理 中 的 重要 
特征 ， 在 通信 工程 、 计 算 机 设计 及 各 种 信号 的 数值 处 理 中 有 广 
泛 的 应 用 。 我们 以 下 讨论 这 种 自动 纠 错 与 检 错 功能 的 具体 实现 
问题 。 

定理 1 〈1) 分 组 码 权 ;是 一 个 本- 纠 错 码 的 充 要 条 件 是 

tedn UD) 一 1]/22， (4.4) 
其 中 <a) 表 示 c 的 整数 部 分 。. 

《2) 分 组 码 媚 ;是 一 个 s- 检 错 码 的 充 要 条 件 是 s 之 dy 3;)。 

证 明 ， 如 果 <[dpCU 15) 一 11/2) < 之 t 成 立 。 此 即 dy(U')<2。 
t。 这 时 必 有 一 对 向 量 w1，uiE UD;,， 使 d=dyCu?, ui)<<2 1 
成 立 。 不 失 一 般 性 ， 我 们 设 向 量 w 与 ?的 前 d 个 分 量 不 同 ,我 们 
作 向 量 v"==(v1，vs，…:，?,) 为 

wi, i 如 ?=1,2,.…,d’， 
wt i 如 i=d 二 1,d’ +2,.… ,7 
其 中 d = <(d-1)/2>+1<t。 且 有 dgC(Wi,，v"),， dp(ui, Vv") 所 
it 成 立 。 因 此 到 :不 为 半 纠 错 码 。 反 之 ,如 果 《〈[dp( 杂 个 -1]/2> 
宇 t 成 立 。 这 时 必 有 dx《UV;) 之 2，+t +1。 如 我 们 记 
U:= {ui, kh=1,2,..,M"), 


ee 56 。 


县 定义 

Ou t= {0 EU" dy’ ,0") St}, R=1,2,.M", 
这 时 Oi，1)，hk==1,2,…,M" 互 不 相交 。 如 作 
wi, Wu EQ, 1), R=1,2,.",M", 
任 取 到 : 中 一 个 向 量 ， 否 则 。 
这 时 政 : 必 可 纠正 t 个 误差 . 命题 (1) 得 证 。 而 命 感 (2) 是 显然 
的 。 定 理 得 证 。 


3 .线性 码 的 构造 
一 个 分 组 码 灵 ;被 称 为 (x，m)- 阶 线性 码 ， 如 果 九 :是 "的 
一 个 m- 维 线性 子 空间 ， 则 由 二 元 域 上 的 线 代数 理论 可 知 ， 这 时 
必 有 一 个 m xx- 阶 矩 阵 
人 Qi,s 0 
GI 92,1 YQ2,2 4“"* | 


goD=| 


(4.5) 


入 一 fn 一 om G. "EER'} (4.6) 
成 立 ， 其 中 xX"。@ 为 二 元 域 上 的 矩阵 积 。 这 时 称 @ 为 (4,m) 一 阶 
线性 码 柬 4 的 生成 矩阵 。 


如 果 w" 与 "是 五 ;中 的 两 个 向 量 ， 记 Cw*，v")= 之 Wi* Di; 为 


wu"，vw" 向 量 的 内 积 。 如 C4"，v") =0, 则 称 向 量 w" 与 "相互 正 交 ， 

如 果 向 量 v" 与 :中 的 每 个 向 量 正 交 ， 则 称 向 量 v" 与 如 ; 正 
交 ， 邵 果 玉 ?由 全 体 与 栈 ? 正 交 ， 那 么 称 玉 ; 与 UU, 正 交 的 向 量 组 
成 ， 那 么 称 玉 ,是 U5 的 一 个 正 交 空间 。 
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由 线性 代数 理论 可 知 ， 如 果 如 ;是 一 个 (x, m)- 阶 线性 码 ， 
那么 它 的 正 交 空 间 V; 也 是 "中 的 (mn-m)-- 维 线性 子 空间 , 它 的 
生成 矩阵 为 

7 hiss 0 hs 
| h,,,, h,,s, me | 
一 (4.7) | 


其 中 k=%-m。 这 时 称 王 为 线性 码 如 ;的 校 验 矩 阵 ， 且 有 Ww"E€ 
本! 的 充 要 条 件 是 w* .五 =. 

定理 2 ”如 果 政 为 线性 码 九 ;的 校 验 害 阵 ， 且 五 的 任何 {个 
列 线性 无 关 ， 而 有 (t+ 1) 个 列 线 性 相关 ,那么 dn(U5)=t+1， 
因此 UV' 是 一 个 (1/2>-- 纠 错 码 。 

这 个 定理 由 上 述 线性 码 与 校 验 矩 阵 的 性 质 直接 推出 ， 对 此 
不 再 详 述 ， 

4. 线 性 循环 码 


线性 循环 码 是 线性 码 中 最 重要 的 一 类 码 ， 它 的 编码 运算 可 
由 移 位 寄存 器 实现 。 因 此 它 的 硬件 构造 十 分 简单 。 在 本 书 中 ， 
我 们 只 介绍 它 的 一 些 基本 知识 。 

一 个 4- 维 向 量 a"= (a 1，a;，…，a,) ,我 们 定义 它 的 一 个 乱 
环 置换 运算 为 

Ta")=(gG0, ds, ,Gn G1), (4.8) 

定义 2 一 个 线性 码 焉 , 被 称 为 循环 码 ， 如 果 对 任何 4"€ 
UU，,，， 那 么 必 有 TC(a”) EU 

循环 码 的 构造 可 由 有 限 域 上 的 多 项 式 环 的 理想 来 实现 ， 因 
为 它 的 描述 涉及 许多 代数 方面 的 知识 与 术语 ,本 书 就 不 作 详 述 。 

重要 的 循环 码 有 如 汉 明 码 ,BCH 码 等 。 汉 明码 是 一 个 4 二 2* 
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-1 za=#-A 的 (s，mo)- 阶 循环 码 , 它 的 校 验 矩 阵 盏 ,的 全 体 列 
向 量 是 五 ;的 全 体 非 零 向 量 。 

例如 ， 在 &=3 时 的 汉 明 码 是 一 个 “7，4)- 阶 循环 码 。 相 应 
的 校 验 矩阵 为 


0 0 0 1 1 1 1 
mr 
1 0 1 0 1 0 1 
由 定理 2 可 知 ， 汉 明码 能 纠正 1 个 误差 。 它 的 译 码 算法 如 
下 ， 
(1) 对 任何 接收 信号 vo"， 计 算 s"=v"， 姐 7， 其 中 如 "为害 
阵 王 的 转 置 . 
(2) 如果"= J 各， 那么 作 译 码 函 数 为 0"(v") = 二 v0"。 
(3) 如果 = 到 如， 那么 " 必 为 用 ;的 一 个 列 ， 如 记 为 第 i 列 ， 
那么 作 译 码 函数 
UU sg Ves Vtl, Viris "9 Vr), 
这 时 译 码 函数 g" 必 可 纠正 汉 明码 的 一 个 误差 
汉 明 码 的 推广 是 BCH 码 、 戈 帕 (Goppa) 码 等 。 
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第 四 章 ”信息 量 的 推广 与 应 用 


§ 4.1 连续 分 布 的 仙 农 炳 与 互 精 


1. 仙 农业 的 推广 问题 


” 从 前 两 章 的 讨论 可 以 看 出 ， 亿 农 箭 在 信 源 与 信道 编码 理论 
中 起 着 关键 性 的 作用 ， 人 们 由 此 可 以 看 出 仙 农 精 的 重要 意义 ， 
但 从 另 一 个 角度 来 讲 , 由 于 信息 科学 在 近代 社会 中 的 重大 作用 ， 
因此 人 们 对 信息 度量 的 范围 与 应 用 的 期 望 往往 更 大 些 ， 希 望 它 
能 在 更 多 的 学 科 分 支 中 发 挥 作 用 ， 因 此 关于 信息 量 的 推广 问题 
-~ 直 是 许多 科学 家 关心 的 问题 ， 

关于 信息 量 的 推广 问题 ， 大 体 上 按 以 下 两 个 方向 进行 ， 即 
由 高 散 随 机 变量 的 仙 农 炉 推 广 到 具有 连续 分 布 随 机 变量 的 仙 农 
篇 ， 及 把 个 农 科 中 的 对 数 函 数 推广 为 一 般 的 加 函数 ， 对 这 两 种 
形式 的 推广 ， 许 多 学 者 作 了 大 量 的 工作 ， 得 到 了 许多 有 意义 的 
结果 。 这 些 结果 虽 不 像 仙 农 焙 那 样 完 整 ， 但 是 作为 信息 量 的 研 
究 发 展 ， 还 是 值得 我 们 学 习 重 视 的 。 
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出 离散 的 仙 农 篇 到 连续 分 布 的 仙 农 粹 的 推广 问题 ， 在 本 质 
上 就 有 困难 出 现 。 因 为 如 果 把 8 1.2 中 的 仙 农 灯 的 定义 式 (2.5) 
作 形 式 的 推广 ， 人 们 发 现 HCX)》 很 快 就 会 趋 于 无 穷 大 ， 因 此 ， 
人 们 把 连续 分 布 的 信息 量 的 定义 基础 不 是 从 仙 农 炳 出 发 ， 而 是 
从 “ 互 灶 ” 的 定义 出 发 。 因 此 在 本 节 中 ， 我 们 首先 介绍 互 焙 的 
定义 ， 而 且 尽 可 能 避 开 测度 空间 的 有 关 描 述 。 因 为 互 坟 的 一 般 
定义 是 建立 在 测度 空间 基础 之 上 的 。 


2. 离 散 分 布 的 互 蚁 与 它 的 性 质 


在 §1.2 中 ,我 们 已 说 明了 仙 农 炉 的 本 质 是 随机 变量 的 不 肯 
定性 ， 它 由 随机 变量 的 概率 分 布 确定 ， 而 互 箭 的 概念 与 仙 农 入 
不 同 ， 它 是 两 个 概率 分 布 的 “差异 程度 ”的 度量 。 对 此 我 们 进 
行 数学 描述 ， 为 了 简单 起 见 ， 我 们 先 讨论 离散 情形 。 

设 加 ={1，2，…，”} 是 一 个 有 限 集合 而 

P={p1s Pz, **, Ps}, Q={qd1, gs, '**, ln} 
(1.1) 
是 加 上 的 两 个 概率 分 布 ， 这 时 


Pi qi 宕 0, i=1,， 2，,*'*， #4， 有 p= Tal. - 
定义 1 如 果 P、 oO 是 Z 上 的 两 个 概率 分 布 ， 则 称 
H(P | 0)= 5 pi*log (Pp,/qs) . (1.2) 
为 P 关 于 @ 的 互 精 。 加 


对 互 炉 (1.2) 在 有 些 文 献 中 又 称 为 “ 散 度 " .由 51.2 的 引 理 
3 可 知 ， 对 任何 有 限 集 合 吾 及 名 上 的 任何 两 个 概率 分 布 P、@ 必 
有 
HCOP | 0)>0 (1.3) 
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成 立 ， 且 等 号 成 立 的 充 要 条 件 是 P=Q (也 就 是 ， 对 任何 i=1， 
2，…，?#， 有 Pi = 一 4 成 立 )。 不 等 式 (1.3) 反 映 了 概率 分 布 Q 与 
P 的 盖 异 度 ， 这 个 特征 在 信息 统计 理论 中 有 重要 作用 。 
我 们 取 多 = 下 x 于 为 两 个 有 限 集合 的 积 ， 而 取 
了 一 [ 忆 X 下 ，p(z， 力 ] Q@=[ 有 下 xx 到 ，p(Cz)q(007]， 


为 下 x 于 上 的 两 个 概率 分 布 ， 其 中 p(z) = 之 P(z，2，9(0 = 


本 p(x，y)。 设 全、Y 为 两 个 随机 变量 ， 具 有 联合 概率 分 布 为 


p(x，y)， 那 么 卫 与 了 的 交互 信息 就 是 P 关 于 8 的 互 粹 ， 也 就 是 
H(P | Q) = 了) 成立, 因此 ,交互 信息 是 一 种 特殊 的 互 米 ， 


3. 关 于 连续 分 布 的 互 炳 


以 下 我 们 将 离散 情形 下 定义 的 互 焙 推广 到 连续 分 布 的 情 
形 。 为 了 简单 起 见 ， 我 们 取 名 = [ca， 的 为 一 个 实数 区 间 ， 急 上 
的 概率 分 布 为 
F=F(x), P=P(x), Q=Q(7), a<r<b,. (1.4) 
我 们 在 此 基础 上 讨论 互 蚁 的 推广 。 有 关 性 质 可 利用 测度 论 工具 
推广 到 更 一 般 的 连续 空间 中 去 ， 如 多 = 民 " 为 4- 维 实数 空间 等 
对 已 给 的 区 间 多 = [a，4b]， 我 们 记 


于 = {qo dy ram} (1,5) 
为 多 的 一 组 分 割 点 ， 如 有 
a=ao<a<as< an-1<an=b (1.5) 
成 立 。 且 记 
A=[ao,，a]，4,= (ai ad]，7T=2，3，…， m, 
(1.6) 
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其 中 [a，6]，Ca，5] 分 别 为 闲 区 闻 与 半 开 半 闭 区 间 。 这 时 A 
i=1，2;…，m， 互 不 相交 ， 且 有 名 一 4 成 立 , 以 下 记 


06)=max{(as— ari) i=1, 2 m}, (1.7) 
设 P、Q 为 名 =[a，6] 上 的 概率 分 布 ， 这 时 P=P(X)，Q= 
Q(x) 为 区 间 [a，8] 上 的 单 增 左 连续 函数 ， 且 
P(a) =Q(a) = 二 0，P(0b) =Q00)=1。 这 时 记 
P(A)=P(4) -Pla), Qh)=0(0) -0(a-1), 
(1.8) 
以 下 称 
HCP | Q; A)= DP(A) logLP(A)/Q(AN)] 


(1.9) 
分 P 关 于 Q 在 分 割 有 起 上 的 互 炳 。 因 为 
[P(A), i=1, 2, *°, ml], [QCA) ,i=1,2, ,mm] 
可 看 作 两 个 离散 型 的 概 认 分布， 因此 H (P 1 8， .4) 是 一 个 离 
散 型 分 布 的 互 粹 。 以 下 记 
B= {bo0, 6 19 “sy bn} (1.5”) 
也 为 加 上 的 一 个 分 割 ， 对 8;，j=0，1，…,m/ ,同样 有 (1.5) 
的 不 等 式 成 立 。 而且 同样 可 定义 分 布 P 关 于 Q 在 如 上 的 互 炳 ， 
定义 2 ”如意 与 加 是 名 上 的 两 个 分 割 ,如 果 胡 是 召 的 一 个 子 
集 ， 那 么 称 分 割 吕 是 三 的 一 个 细 分 。 
”下 理 1 如 果 召 是 各 的 一 个 细 分 ， 那 么 必 有 
HOP | Q; <HCP | 0; B) (1.10) 
成 立 。 
证 明 ， 对 分 割 吾 同样 可 定义 
4 =[po，bi]， Ai 一 (站 -1 bl, j=2, 3, um’, 
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{1.6’) 
如 果 吾 是 用 的 一 个 细 分 ， 那 么 对 每 个 4, 必 为 若干 个 ef 分 割 而 
成 。 这 时 由 HCP 1， 用) 与 H(P 上 90; 至 ) 的 定义 及 81.2 中 
的 不 等 式 (2.8) 即 可 推出 不 等 式 (1.7〉 式 成 立 。 引 理 得 证 ， 

定义 3 ”如 记 DD[a，56j 为 区 间 [a,bJ 上 的 全 体 有 限 分 割 , 了 P、 

@ 为 区 间 [a，63 上 的 两 个 概率 分 布 ， 那 么 我 们 定义 
HCP YQ)=sup{HOP | Q; A), AE Dla, 5])} 
(1.11) 
为 P 关 于 @ 的 互 米 。 

定理 1 关于 互 六 有 以 下 性 质 成 立 。 

(1) 对 任何 多 = [co，61] 上 的 两 个 概率 分 布 P.Q 总 有 已 CP 
Q@) 之 0 成 立 ， 且 等 号 成 立 的 充 要 条 件 是 P 三 8， 也 就 是 ， 对 任何 
ELe, 8], PO() =0Q(7). 

(2》 吉 记 = (ao， ai …，aj，r=1，2，…， 为 [a， 
妇 区 间 的 一 列 分 制 ， 如 果 0,=6( -0， 则 有 

lmHCP | 8, A =H(P 1 0). (1.12) 


(3) 如 果 @ 是 一 个 勤 贝 格 测度 ,也 就 是 CCz7 = (xz 一 a)/(5 ~ 
.0)， 而 PC 是 连续 分 布 ， 具 分 布 密度 pCz) = P'(z) 《Px) 为 
P(z) 的 导数 )， 这 时 


HOP| 0)=| .panlogrpco7/G- a)]az 
log(b -a) 十 | cpmogpc?dz， | (1.13) 
如 果 P.O 具 有 分 布 密度 pCz)=P'(z) 与 9(z) 二 Q(z), 那 么 


这 时 有 
HCP| o=| flr)log[tf Cr) /gdz, 1.13’) 


b 
名 
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定理 1 的 证 明 要 用 到 测度 论 的 许多 定义 与 性 质 ,对 此 我 们 不 
作 详 述 。 关 于 互 箭 的 定义 可 推广 到 一 般 概 宁 空 间 的 情形 ， 因 此 
对 %- 维 实数 空间 ， 相 应 的 〈1.127) 式 为 


HCP19)=| ,p21ogtpCe") /qe Ndr", C1.13") 


其 中 z= (x 1,， “0 Mn) 为 f-- 维 实数 向 量 ， gz" 一 dz xX dx, x 
Xxdzx,， 而 pC2")，4《2x") 分 别 为 P、Q 的 分 布 密度 ， 


4, 连 续 分 布 的 仙 农 灶 
作为 离散 随机 变量 仙 农 精 的 形式 推广 ， 人 们 把 
HT(z) 三 - | opiogpco?dz (1.14) 


称 为 连续 随机 变量 的 仙 农 病 ， 其 中 P(z) 为 随机 变量 互 的 分 布 密 
度 。 关 于 连续 随机 变量 仙 农 米 的 来 源 与 意义 不 如 离散 随机 变量 
仙 农 炳 那样 明确 ， 它 的 值 还 可 能 是 一 个 负 值 . 但 是 (1.14) 的 
但 农 篇 还 是 一 种 很 有 用 的 信息 量 。 它 的 应 用 有 如 以 下 情形 ; 
” “(1) 关于 信 源 编码 理论 中 有 关 信 号 体积 的 性 质 可 推广 到 连 
续 随 机 变量 的 情形 。 如 记 马 ;，， 马 :，…， 开 ,为 一 组 独立 同 分 布 
的 随机 变量 ， 每 个 了 ,具有 分 布 密度 PCz)，xYE 枢 ， 这 时 开 " 一 
《全 ,， 防 ,，…， 联 ,) 的 概率 分 布 取 值 集中 在 
pCX") = pTIIP Ts) PDO) HEXp 2s[ — nHCA)] 
(1.15) 

的 范围 内 . 

《2) 利用 连续 随机 变量 的 仙 农 精 同 样 可 产生 条 件 科 与 交 
互信 息 ， 如 记 随 机 变量 (全 ，Y) 具有 联合 分 布 P(X，y) 与 相应 
的 边际 分 布 PC《z) 与 4(y)， 那 么 它们 的 条 件 业 与 交互 信息 可 定义 
为 . 1 
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HOE/Y)= ~ [pCes logtpcr,y) /9c Idrdy,y 


(1.16) 
HCY/X)= -| ,ps0)1ogtpCe, /pcs) dedy, 
. (1.16’) 
TY 至)= [pce ylogcpcs,y)/ Cp)acy)) drdy. | 
: (1.17) 
这 时 ， 交 互信 息 是 一 种 特殊 的 互 焙 ， 因 此 它 的 意义 是 明确 的 。 


5. 几 种 典型 分 布 的 仙 农 闹 


在 概率 统计 中 ， 最 常见 的 几 种 分 布 有 如 均匀 分 布 、 指 数 分 
布 、 正 态 分 布 与 一 般 指 数 型 分 布 ， 它 们 的 密度 函数 为 ， 
A ~ 0a), 如 果 zE [a， b], 
《1) 均匀 分 布 ，pi(Cz) 一 否则 ， 
(1,18) 
Mexp(- Mr)， 如 果 z>0， 
否则 。 
(1.19) 


(2) 指数 分 布 :pC 一 {, 


= 
(3》 正 态 分 布 ，ps(2) = 了 


exp{— [zx—-H)/0]}, (1.20) 
(4) 一 般 指 数 型 分 布 ， 


DCZ) 一 Ceexp(T ID 十 TaZ2 Fe (1.21) 
其 中 C 为 归 一 化 系数 ， 使 |pCz)dz= 1. 


众所周知 ， 正 态 分 布 是 一 种 特殊 的 指数 型 分 布 。 
(5) 多 维 正 态 分 布 ， 
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p(x") =[ 2 sexp! 一 了 D> Qt iT ~ bs) 


irijoml 
» (rTj— Wi) } (1.22) 


其 中 上 44; 1 为 矩阵 (a6,;》 的 行列 式 ， 和 矩阵 oe1,1) 是 相关 移 阵 
《co 的 道 惩 阵 ， 而 


人 二 | .=pcoDan。 


O41= |. (CAE DTC DI ACD LR (1.23) 
对 这 五 种 概率 分 布 的 仙 农 炳 分 别 为 
H(X,)=10g,Cb -a)) (1.24) 
H(X,)=10g, Ce/ (1.25) 
HC(X,)=(1/2)log, (2xe0’), (1.26) 
. 良 
HCX,)=log:C+ (Btr, )logse, (1.27) 


其 中 =|zp(z)dz 为 随机 变量 的 ! 阶 逢 ,而 


H(X")= (1/2)1og, [(2ze)’* Ba; ]。 (1.28) 
在 (1,24) 一 (1,27) 式 中 ， 耶 ,~ 也, 分别 为 具有 均匀 分 布 、 指 数 
分 布 、 正 态 分 布 与 一 般 指数 型 分 布 的 随 宙 变量 ， 而 (1.28)? 式 中 
的 "为 1- 元 正 态 分 布 的 随机 变量 ， 
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4 4.2 最 大 烦 与 最 小 互 粹 原理 


1. 最 大 入 与 最 小 互 炉 原 再 


景 大 焕 与 最 小 互 炉 原 理 是 信息 量 的 两 个 重要 性 质 ， 它 们 深 
刻 地 反映 了 概率 分 布 的 信息 特征 ， 在 近代 统计 理论 中 有 重要 应 
用 ,而 且 它们 的 作用 还 在 增加 。 在 本 节 中 ,我 们 介绍 这 些 原理 。 

在 介绍 最 大 闹 与 最 小 互 闹 原理 之 前 ， 我 们 必须 先 介绍 “ 先 
验 信息 ” 这 个 概念 ,“ 先 验 信 息 ” 这 个 名 词 在 统计 理论 中 广 为 引 
用 ， 它 表示 对 概率 分 布 〈 在 统计 中 称 为 样本 总 体 ) 的 某 些 已 知 
约束 条 件 ， 这 些 条 件 确定 了 概率 分 布 的 变化 范围 。 因 此 ， 本 书 
中 所 指 的 先 验 信息 就 是 概率 分 布 函 数 的 约束 条 件 。 常 用 的 约束 
条 件 有 两 种 类 型 ， 即 有 分 布 歌 值 范围 的 约束 与 函数 失 约 束 。 例 
如 ， 
约束 条 件 1， 分 布 密度 函数 p(z) 在 [fa,b 区 间 之 外 为 零 ， 
约束 条 件 2， 分 布 密度 函数 PCz) 在 z<<0 处 为 零 
约束 条 件 3， 设 r.(i=1，2，…，k,) 为 图 定常 数 , 分 布 密度 
p(X) 使 关系 式 


| sep dr ro i=1,2,..,Ek, (2.1) 
成 立 。 | 
约束 条 件 1， 2 为 分 布 取 值 范围 约束 ， 而 (2.1) 是 矩 约束 ， 
我 们 称 之 为 &- 阶 矩 约 束 。 由 这 些 约束 条 件 确定 了 分 布 密度 函数 
的 变化 范围 。 我 位 记 到 为 PCz)7 的 可 能 变化 范围 。 因 此 到 就 是 先 
验 信息 。 记 到 中 的 元 为 概率 分 布 E，P，@ 等 ， 而 相应 的 分 布 密 
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度 分 别 为 A(z)，p(z7，d(z)。 

最 大 灶 分 布 就 是 指 在 先 验 信息 到 中 的 一 个 柱 率 分 布 Pi， 使 
它 的 仙 农 焙 在 到 中 为 最 大 ， 这 时 

HC(P.)=max{H(P), PE PP}. (2.2) 

最 小 十 分 布 就 是 指 在 先 验 信息 到 中 的 一 个 概率 分 布 “9， 使 

它 与 0 分 布 的 互 箭 为 最 小 ， 这 时 
HCP, | Q)=min{HCP 1C)，PE 瑟 }。 (2.3) 

以 下 记 

友 ,为 使 约束 条 件 (1) 成 立 的 全 体 连 续 分 布 P， 

妈 , 为 使 约束 条 件 (2) 与 1- 阶 甜 约束 成 立 的 全 体 连 续 分 布 P， 

到 :为 使 2- 阶 撼 约 束 条 件 成 立 的 全 体 连 续 分 布 P8 

到 ,为 使 一 般 &- 阶 矩 约束 条 件 成 立 的 全 体 连续 分 布 P 

忆 ; 为 使 2- 阶 相关 矩 约 束 条 件 成 立 的 全 体 连续 分 布 P，2- 阶 
相关 和 矩 约束 条 件 是 使 (1.23) 成 立 的 全 体 pCx")， 这 时 505,71 
一 1， 2， 0 

最 大 焙 原 理 ” 如 记 P, 为 呈 , 中 的 最 大 雯 分 布 ，i=1，2, 3， 
4，5。 这 时 P, 一 Ps 的 分 布 密度 pi(z) 一 pi(z) 与 ps(z7 分 别 为 
-由 (1.18) 一 (1.22) 式 定义 的 均匀 分 布 ， 指 数 分 布 ， 正 态 分 布 ， 
指数 型 分 布 与 多 维 正 态 分 布 ， 且 它们 的 参数 由 约束 条 件 决 定 。 

最 小 互 焙 原理 ”如 记 P, 为 到 ,中 与 分 布 2 的 互 炉 为 最 小 的 分 
布 ， 且 记 它 们 的 分 布 密度 分 别 为 pi(z)，i= 1,2,3，,4 与 psCz。 
这 时 P, 与 9 的 分 布 密度 的 比 Pi(z)/4a(z)，t= 1,2,3, 4 与 ps(Cz 7) 
/q(x") 分 别 为 由 C1.18) 一 (1.22) 式 定义 的 函数 ， 且 它们 的 参数 
由 约束 条 件 决定 . 

以 上 原理 可 在 许多 信息 论 的 书 中 找到 ,对 此 我 们 不 再 详 述 。 
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2.。 高 斯 (Gaussian》 信道 的 信道 容量 


在 第 三 章 中 ， 我 们 给 出 了 寅 散 信道 的 信道 容量 及 它 的 编码 
定理 ， 我 们 现在 考虑 连续 状态 的 信道 容量 问题 ， 这 时 信道 .= 
fvV，pCv/Ww)， 玉 V]， 其 中 如 一 V= R 为 实数 空间 ， 而 PCe/z 
条 件 概 率 分 布 密度 。 以 下 记 0,，V，Z 为 信道 的 输入 、 输出 与 噪 
声 随机 变量 ， 它们 都 是 在 实数 空间 中 取 值 、 

定义 1 对 上 述 信 道 C 的 输入 、 输 出 与 噪声 随机 变量 U,V， 
Z， 如 果 U 与 Z 是 相互 独立 的 随机 变量 ， 且 V =U+2Z， 则 称 信道 
C 为 加 性 信道 。 

如 信道 C 是 加 性 信道 ， 且 噪声 Z 是 一 个 高 斯 随机 变量 ,这 时 
称 信道 C 是 一 个 加 性 高 斯 信道 ， 

如 信道 C 是 一 个 加 性 高 斯 信道 ， 那 么 

pV/W) =(27N2) 1 ?exp{ ~ (vwW)’/(2N’)), 
: (2.4) 
其 中 和 为 噪声 功率 。 

在 连续 信道 C 中 ， 输 入 信号 随机 变量 UV 还 未 给 定 , 在 通信 工 
程 中 ,，U 的 取 值 一 般 为 某 种 物理 量 ， 如 电流 强度 、 电 压 等 ， 且 
对 它们 的 功率 要 有 一 定 的 限制 ， 如 


EtU’)=| up du<o’, (2.5) 


这 时 要 求 输入 信号 前 平均 功率 不 超过 5” ， 我 们 称 5 ?为 输入 信号 
的 最 高 平均 功率 。 

对 一 个 加 性 高 斯 信道 C， 如 果 输 入 信号 随机 变量 0U 的 概率 
分 布 密度 pCu) 给 定 ， 且 满足 功率 约束 条 件 (2.5), 那 么 输出 信号 
随机 变量 Y 的 平均 功率 为 

EV’:}=E{(UV +272)}=EU’})+E{2Z’} 
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<02+ 有 2， - (2.6) 
其 中 o*，N?: 分 别 为 输入 信号 与 噪声 的 平均 功率 。 这 时 DU、V 的 
交互 信息 为 
ICUyV)=H(V) ~- HC(V/U) <(1/2)10g(1 +0*/N’), 
(2.7) 
(2.7) 中 的 不 等 式 由 (2.5) 与 (2.6) 式 可 得 ， 国 为 岂 (2.5) 式 得 


HCV/U) = [fips wyIogpco/udodu 


=(1/2)log(2xeeN’), (2.8) 
由 (2.6) 可 得 
HCV)<(1/2)1og[2xe° CN? +0°)], (2.9) 
将 (2.8) 与 (2,9) 代 入 (2.7) 的 不 等 式 左边 就 得 (2.7) 式 ，。 
如 我 们 取信 道 痊 入 随机 变量 0 为 高 斯 随 宙 变量 ， 具 正 态 分 
布 NC0,0*)， 那 么 输出 随机 变量 V 也 是 一 个 高 斯 随机 变量 ,具有 
正 态 分布 N(0,N* +0:)， 因 此 U、V 的 交互 信息 使 (2.7) 的 等 号 
成 立 。 我 们 称 
C=(1/2)log(1+0°/N’) (2.10) 
为 加 性 高 斯 信道 的 信道 容量 ， 而 0*/N ?为 信 品 比 。 由 此 可 知 ， 
对 决定 加 性 高 斯 信道 的 信道 容量 大 小 的 关键 是 信 噪 比 的 大 小 . 
对 连续 状态 下 的 信道 ， 我 们 同样 可 给 出 它 的 编码 问题 ， 这 


时 ， 要 求 编码 函数 

了 一 (UL 一 (2 (2.11) 
满足 功率 约束 条 件 : 

Du Sno.l +e), : (2.12) 


站 


其 中 e 为 任意 小 的 正 数 ， 与 $3.3 的 定义 相同 ， 我 们 同样 可 给 出 
s 7] 。 


连续 状态 信道 的 可 达 速 率 ， 这 时 要 求 编码 函数 J"(z") 满 足 约束 
条 件 (2.12)。 

与 8 3.2 的 定义 相同 ,我 们 可 同样 定义 无 记忆 的 连续 状态 信 
道 。 对 无 记忆 加 性 高 斯 信道 同样 有 它 的 编码 定理 。 这 时 (2.107 
的 信道 容量 C 是 无 记忆 加 性 高 斯 信道 的 最 大 可 达 速 率 。 对 此 命 
题 的 证 明 与 $3.3 的 正 , 反 编码 定理 相似 ， 我 们 不 再 详 述 . 


84.3 广义 业 的 定义 与 性 质 


在 8 4.1 的 开始 ,我 们 就 已 指出 ， 信 息 量 的 推广 有 着 十 分 重 


要 的 意义 ， 它 的 推广 途径 沿 着 把 离散 仙 农 痛 向 连续 分 布 与 一 般 


的 凸 函数 的 两 个 方向 进行 .在 8 4.1， 4.2 中 ， 我 们 给 出 了 关 
于 连续 分 布 米 的 几 种 定义 的 引进 与 性 质 。 在 本 节 中 ， 我 们 讨论 


把 仙 农 炉 中 的 对 数 函 数 向 一 般 出 函数 的 推广 。 以 下 记 轰 ={1， 


2, 1}, 而 
P={p"=(p1, ,Pn); Pi>0, Zp:=1}. (3.1) 
i=l 


这 时 到 为 一 个 凸 集 ， 也 就 是 对 任何 P;:，p2E 到 ,总 有 0.5(p3 十 
p EP, | 

定义 1 我 们 称 HCp") 为 一 个 广义 烦 ( 有 的 文献 中 称 为 多 样 
性 指标 )， 旭 果 He(p") 的 定义 域 为 P， 且 满足 以 下 条 件 : 

(1) 对 任何 PE P，He(p") 之 0 

《2) 对 任何 p* 向 量 的 置换 Tr， 总 有 Hc[TCp")1= HoCp")， 其 
中 . 
了 (Pi pa Pr) = prey pos) Dren)) 
对 任何 PE 局 成 立 ， 其 中 TC 让 为 入 ={1，2，…，#) 上 的 置换 
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鹿 


(3) HcCp") 为 PP 上 的 一 个 严格 凸 函 数 。 也 就 是 ， 对 任何 

Pi1，pP3E 到 ， 总 有 
Hef0.5Cp: + p32)]20.5L[HeCp1) + He(p2)] (3.2) 

成 立 ， 且 等 号 成 立 的 充 要 条 件 是 p? = 了 ;成 立 。 

重要 的 广义 米 有 如 ， 

(1) @ 一 炳 

如 果 4(p) 是 一 个 [0，1] 区 间 上 的 溃 函 数 ， 对 任何 p，4E 
[0，1]， 总 有 


$[0.5Cp+q) 20,.8C0Cp) TOC9)]。 《3.3) 
这 时 称 

Heal p") = 之 人 CD,)。 《3,47 
重要 的 内 箭 有 ， 


仙 农 炉 ， 当 $7P) = 三- Pologp 时 ; 
桑 普 松 (Simpson) 指 数 ， 当 由 (p) = DC1- 了 时， 这 时 


Hoe(p") = Bo (1 -pi -1- Sr. (3.,5) 
桑 普 松 指数 在 生物 学 中 有 重要 的 应 用 。 a 
(2〉 拟 四 - 粹 


如 果 $(D) 是 一 个 [0，1 区 闻 上 的 凸 函数 ，y 是 一 个 凸 函数 ， 
这 时 称 


FeCpD= 趾 D> 4CpD |. (3.6) 


重要 的 拟人 7 炳 有 a- 阶 业 (或 菜 尼 (Renyi) 炉 )。 这 时 取 
Pu)=[1/CG -1))°logu), $lp)=p!'™", (3.7) 
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因此 有 
Hpe)=[I/e- Dllog| De) | 3.8) 


引 理 1 人 负 农 和 可 看 作 一 种 特殊 的 4- 阶 炳 ， 也 就 是 在 a->1 
时 ,4- 阶 炉 变 为 仙 农 米 。 这 时 有 
limHCp", a)=H(p"), 


其 中 HCp") 为 仙 农 灶 。 
对 广义 炉 我 们 同样 可 定义 它们 的 条 件 炳 与 交互 信息 ， 如 
HeCX/Y)= He(X, Y)- Hel(Y), (3.9) 
HeCY/X)=He(X, Y)- He(X), (3.9’) 


Ice Y)=He(X)+tHe(Y) ~ He X,Y). (3.10) 
但 农 炳 的 许多 性 质 可 推广 到 广义 精 的 情形 ， 对 此 我 们 不 一 一 列 
举 了 。 
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第 五 章 ”编码 理论 的 发 展 与 应 用 


8$ 5.1 率 失 真 函 数 与 数据 压缩 编码 定理 


1. 数 据 压缩 编码 问题 


在 第 二 章 中 我 们 已 给 出 了 无 噪声 时 的 信 渐 编码 定理 ， 给 出 
了 两 种 类 型 的 编码 问题 ， 对 这 两 种 类 型 的 编码 问题 ， 它 们 的 处 
理 方 法 不 同 ， 但 是 它们 的 共同 目的 都 是 要 用 最 少 的 信号 把 信 源 
的 大 部 分 信息 再 现 出 来 ， 但 第 二 章 的 信 源 编码 理论 只 考虑 信和 源 
的 概率 分 布 因素 ， 因 此 它 的 应 用 范围 受到 限制 。 为 了 以 更 经 济 
的 手段 把 信 源 的 信息 再 现 出 来 ， 我 们 还 必需 作 更 进一步 的 讨论 . 
分 析 。 在 一 个 实际 的 信息 处 理 问题 中 ,还 有 以 下 因素 可 供 利 用 ， 
即 有 

(1) 对 不 同 的 消息 ， 它 们 之 间 存 在 一 定 的 度量 关系 。 以 中 
文字 母 为 例 ， 有 些 反 意 字 ， 如 “上 、 下 ?， “来 、 去 ?”， 收 、 支 ? 
等 字 含 意 差 别 极 大 ， 如 它们 在 通信 中 出 错 就 会 有 很 大 的 损失 
而 有 些 字 ， 如 “和 、 与 、 同 ”等 ， 它 们 的 差别 很 小 ， 有 了 错 也 
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不 会 有 太 大 的 损失 。 对 这 种 不 同 的 度量 关系 我 们 可 用 一 个 度量 
函数 d(xz，y)，x，yE 时 来 表示 ，d(z，2) 代表 消息 字母 x 与 y 
之 间 的 差异 程度 。 这 时 ， 一 个 信 源 可 用 
忌 =[ 囊 DCz)，awCrz、2)， 了 ] (1.1) 
来 表示 ， 其 中 d(x，y) 为 用 8 来 复制 z 时 的 损失 度量 。 
(2) 在 文字 、 语 音 与 图 象 处 理 问题 中 ， 对 实际 消息 的 再 现 
可 允许 一 定 的 误差 存在 ， 例 如 ， 在 电视 图 象 中 ， 只 要 有 足够 多 
的 线 素 就 可 保持 很 好 的 清晰 度 ， 为 人 们 的 坑 觉 所 接受 ,同样 ,在 
电影 的 连续 图 象 中 ， 每 秒 钟 只 要 有 足够 多 的 变化 画面 ， 就 可 保 
持 动 作 的 连贯 性 ， 为 人 们 的 视觉 所 接受 ， 又 如 ,在 卫星 照片 中 ， 
对 气象 恨 片 与 侦察 照片 的 清晰 度 的 要 求 有 很 大 的 差别 ， 因 此 在 
传递 气象 卫星 的 照片 时 ， 数 据 可 作 更 多 的 压缩 。 这 种 可 允许 的 
误差 记 为 D， 对 不 同 的 信息 处 理 可 有 不 同 的 误差 要 求 。 
数据 压缩 理论 就 是 在 信 渡 复制 误差 不 超过 已 给 的 允许 度 D 
的 要 求 下 ， 以 最 少 的 数据 来 再 现 原 信 源 的 信息 .为 了 实现 这 个 
目的 ， 信 源 编码 理论 仍 在 序列 模型 下 讨论 ， 记 
SS"=[", pO), dCz", ys, Wr"], n=1, 2, 1 
: . (1.2) 
为 一 个 有 度量 函数 的 信 源 序列 。 
定义 1 我 们 称 常 数 R 是 信 源 序列 (1.2) 的 一 个 D- 可 达 速 
率 ， 如 果 存 在 一 列 编码 序列 (f"，9"”)，#=1，2，3，…， 对 任 
何 s 之 0， 只 要 mw 充 分 大 ， 满 足以 下 条 件 ， 
(1 户 ，g" 分 别 为 映射 
F， 下 "一 7 ， yg: M'—Y", (1.3) 
其 中 慑 "={1，2，…，M"},M" 为 任何 过 exp :[x*R。(1T+e)] 的 
下 
(2) 复制 信 源 与 康信 源 的 畸变 不 超过 D， 也 就 是 有 
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P,{dC¥", YS>D.(1 +e)}<e, 四 (1.4) 
成 立 ， 其 中 卫 " 与 Y" 的 联合 概率 分 布 由 信和 源 仿 "与 编码 (f"，9") 
给 定 ， 这 时 
pz",Yy") = P,{ CX",Y")= (rz", 4)} 
= 如 果 y"==g"[f "(zx")]， 
0， 否则 。 
由 定义 1 可 知 , 信 源 序列 的 D- 可 达 速 率 R 就 是 信 源 序列 在 具 
有 人 允许 误差 D 的 范围 内 ， 信 源 数 据 可 压缩 的 比特 数 大 体 为 4*R， 
信 源 编码 问题 就 是 要 找 出 最 小 的 D- 可 达 速 率 ， 


2. 率 失真 函数 与 信 源 编码 定理 


为 求 信 源 序列 的 最 小 D- 可 达 速率 ， 在 下 文中 ,我们 讨论 
号 "，#= 一 1，2，…， 为 一 个 无 记忆 的 信 源 序列 .这 时 


(1.5) 


pl7X") = [pCx),dlx",y") = (1/n)* 之 d(xi,Y1), 


(1.6) 
对 任何 2 二 Cz，…，2) 下"， 纺 = (bp)E 于 "成 立 。 
如 果 (1.5) 中 的 PCz) 与 dz，2) 由 (1.1)? 给 定 ， 这 时 我 们 称 (1.27 
的 信 源 序列 为 由 信 源 (1.1) 生 成 的 无 记忆 信 源 序列 。 
对 (1.1) 的 信 源 仿 ， 如 果 记 Q== [4(Cy/z7] 为 一 个 从 是 一 下 
的 转移 概率 矩阵 ， 那 么 由 PCz)，@ 确 定 联合 概率 分 布 为 PCzy27 
一 DZz)4qCWz)。 我 们 记 


QD)={Q= [6y/7z)]: SD d(x Pr)IY/Y) 


<D)}， (1.7) 
而 相应 的 交互 信息 为 


CXSY)= > px, y)log[Lq(y/r)/aty)], (1.8) 
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其 中 三 ，Y 为 由 联合 分 PCz， 纺 确定 的 随机 变量 ， 

定义 ? 对 (1.1) 的 信 源 仿 ， 我 们 称 

ROD)=inf{I(X, Y), QE QD)} (1.9) 

为 信 源 号 的 率 失 真 本 数 (或 为 (R，D)- 函 数 ). 

定理 1 如果"，#=1，2，…， 为 由 坊 生 成 的 无 记忆 信和 源 
序列 ， 那 么 SS" 的 最 小 DD- 可 达 速 率 为 率 失真 函数 R(D)， 

由 定理 1 可 知 ， 在 一 定 的 允许 误差 条 件 下 ， 无 记忆 信 源 的 
' 最 小 数据 压缩 率 是 可 以 计算 的 ， 而 且 它 的 值 就 是 率 失 真 函 数 
R(D)。 这 个 结论 在 信息 处 理 理论 中 十 分 重要 , 它 是 数据 压缩 问 
题 的 理论 基础 ， 在 语音 、 图 象 等 问题 中 广 为 应 用 。 由 于 篇 幅 所 
限 ， 本 定理 的 证 明 从 略 ， 


3. 率 失真 函数 的 计算 公式 


与 信道 容量 的 计算 相同 ， 率 失真 函数 的 计算 也 可 用 多 元 函 
数 求 极 值 的 方法 计算 。 这 时 作 拉 格 朗 日 函数 为 
L[qC(y/7x)1=I(X, Y) 


+ DhR) DS ay/ rT) +h DD dx, PX)AY/Y), 


(1.10) 

其 中 ICX，Y) 由 (1.8) 定 义 ， 它 是 4C(y/7) 的 函数 .为 求 RCD)， 
只 要 解 方程 式 

0L/0d(Cy/z) 三 0，zE 本，VE 了 ， (1.11) 


就 可 ， 对 几 种 特殊 分 布 的 率 失 真 函数 有 以 下 公式 ， 

(1》 二 进 信 源 写 为 爱 = 于 二 {0，1},， 且 PC(1)==p，P(0)=1 
~-p， 而 d(x， 坊 为 Hamming 距 离 dn(z，y)。 这 时 率 失 真 函 数 
为 

RC(D)=H(p) ~- HC(D), 当 0<DEp<0.5 时 ，(1.12) 
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如 果 D 宇 p， 则 RCD) 三 0， 
C2) 具有 绝对 误差 的 双边 指数 分 布 信和 源 ， 这 时 下 = 于 一 发 
为 全 体 实数 ， 而 


pr) = (a/2)expC ~ olx|), (1.13) 
dlz, y)=|x~y|. 这 时 
R(D)= -log(cD)，0<D<1l/a。 (1.14) 


C3) 具有 均 方 误差 的 正 态 分 布 信 源 .这 时 下 = 了 = 至 为 全 
体 实数 。 而 
PCZ) 一 (2702) 1 ?exp[ ~ (7~W/C20:)] (1.15) 
dz， 切 =(z- 切 ?这 时 
R(D)=(1/2)°10g(0’/D), 0<D<o’, C1.16) 
对 其 它 类 型 信 源 的 率 失 真 函 数 还 有 许多 ， 对 此 就 不 一 一 列 
举 了 。 


$5.2 多 用 户 通 信 网 络 概论 


1. 多 用 户 通信 网 络 编码 的 发 展 简 史 


在 8$ 2.1 中 ,我 们 给 出 了 通信 系 遂 的 基本 要 素 与 框图 ， 它 的 
基本 特点 是 信 源 、 信 道 及 它们 的 输入 、 输 出 都 是 单一 的 。 因 此 
这 种 通信 模型 比较 简单 。 由 于 近代 通信 技术 的 发 展 ， 这 种 简单 
模型 已 不 能 概括 近代 通信 的 技术 模型 。 因 此 在 70 年 代 出 现 了 大 
量 网 络 式 的 通信 模型 。 在 国际 上 称 之 为 多 用 户 信息 论 。 我 们 现 
在 概述 它 的 发 展 历史 与 模型 特征 ， 

景 早 的 多 用 互通 信 模 型 是 1963 年 仙 农 提出 的 二 元 通信 模 
型 ， 该 模型 的 框图 如 图 5,1 所 示 。 它 的 结构 要 点 有 ， 
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《1) 通信 双方 可 看 作 甲 、 乙 两 地 ， 每 方 都 具有 收 、 发 信号 
的 设备 ， 

《2) 通信 的 甲 、 乙 双方 分 别 在 同一 地 点 对 收 、 发 信号 的 情 
形 可 随时 通告 。 

由 这 个 二 元 信道 模型 我 们 可 进行 以 下 几 点 特征 分 析 . 

《1) 通信 系统 具有 多 个 信 源 、 信 和 道 且 有 多 个 输入 、 输 出 。 


图 5.1 二 元 信道 的 通信 模型 


《2) 通信 过 程 中 信息 的 传递 有 多 种 手段 ,在 图 5.1 中 ， 除 了 
信道 传递 信息 之 外 ， 还 有 在 同一 地 点 内 传递 的 信息 。 这 种 信息 
人 们 称 之 为 “ 边 信息 ”与 “反馈 信息 ” .这 些 特 点 是 多 用 户 信息 
论 的 基本 特征 ， 并 由 此 引出 许多 其 他 的 模型 . 

自 仙 农 1963 年 提出 上 述 二 元 信道 以 后 ， 多 用 户 信息 论 并 未 
立即 得 到 发 展 ， 自 1963 年 到 70 年 代 初 ， 虽 有 论文 对 二 元 信道 进 
行 研究 ， 但 多 用 户 信息 论 的 研究 进展 不 大 。 自 70 年 代 初 ， 由 于 
卫星 通信 技术 的 发 展 ， 提 出 了 一 系列 多 用 户 通信 的 网 络 模型 ， 
对 它们 的 编码 理论 的 讨论 形成 一 个 高 潮 ， 成 为 这 一 时 期 信息 论 
发 展 的 主题 之 一 。 


2. 多 用 户 信息 论 的 主要 模型 


多 用 户 信 息 论 的 主 模型 有 三 大 类 ， 即 “多 重信 源 的 编码 模 
型 "、“ 多 路 信道 的 编码 模型 ”及 “ 信 源 、 信 道 混合 编码 模型 
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我 们 现在 概述 它们 的 特征 . 

C1) 多 重信 源 的 编码 模型 

多 重信 源 的 编码 问题 是 指 有 多 个 信 源 ， 这 些 信 源 上 共有 一 定 
的 相关 性 ， 它 们 按 一 定 的 编码 方式 进行 信息 处 理 ， 多 重信 源 纺 
码 的 基本 问题 是 如 何 降低 它们 的 可 达 速 率 。 常 见 的 多 重信 源 模 
型 有 如 图 5.2 一 图 5.7 表 示 的 “SWC(Slepian-Wolf-Cover)- 模 
弄 ”;“WAK(C(Wyner-Ahlswede-K6rner)- 模 型 ”;“WCWyner)- 


图 5.6 KM 一 模 弄 图 5.7 HK 一 模型 
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模型 9? “S (Sgarro)- 模 型 9 “KM(Kitrnet-Matton)- 模 型 ?9 
“HK(CHan-Kobayashi)- 模 型 ”等 ， 

(2) 多 路 通信 信道 

多 路 通信 信道 一 般 指 信 道 有 多 重 输入 、 输 出 信号 ， 典 型 的 
多 路 通信 信道 有 如 “多 址 信道 ", “广播 信 道 ”等 ， 它 们 的 构造 
为 图 5.8 一 图 5.11 所 未 ， | 


2 


图 5,10 降 阶 广播 信道 


(3) 混合 多 用 户 通信 系统 
如 把 上 述 多 重信 源 与 多 路 信道 结合 及 与 率 失真 理论 结合 就 
可 产生 各 种 混合 多 用 户 通 信 系统 。 它 的 典型 模型 有 如 :“ 有 边 信 
息 的 通信 系统 "，“ 有 反馈 信号 的 通信 系统 "，“ 相 关 信 源 与 多 路 人 
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信道 的 通信 系统 ”，“ 有 人 允 许 误差 的 多 用 户 通 信 系统 ”等 。 其 中 
有 边 信息 与 有 反馈 的 通信 模型 如 图 5.11、 图 5.12 所 示 。 


图 5.12 有 反馈 信号 的 通信 系统 

对 这 些 模 型 的 编码 问题 的 讨论 内 容 十 分 丰富 。 在 本 书 中 我 

们 重点 介绍 两 个 多 用 户 信息 论 的 典型 模型 ， 即 多 重信 源 中 的 
SWC 模 型 与 二 址 信道 模型 。 


8 5.3 多 重信 源 的 编码 定理 


1,SWC 模 型 的 编码 问题 


从 $5.2 图 5.1 的 SWC- 模 型 可 以 看 出 ， 该 通信 系统 有 二 个 
相关 信和 源 构 成 。 我 们 记 之 为 
局 "=[ 避 1 x RI, pt, rE)], n=1,2,3,.", 
《3.1) 
其 中 mm(zyz3) 为 至 ? x 下 ?上 上 的 联合 概率 分 布 。 我 们 称 (3.1) 
的 号 "为 一 个 二 重 相 关 信 源 序列 。 由 8 5.2 图 5.1 的 要 求 ， 该 系统 
的 编码 函数 〈P"，9g") 应 这 样 规定 ， 其 中 jziz3)= (f(x?)， 
FiCz2))， 而 大 分 别 为 映射 
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fi Ki Mi={1,2,., Mi}, h=1], 2。 (3.2) 
如 我 们 记 Mi 与 M; 申 的 元 分 别 为 i。j， 则 译 码 函数 g"(Ci， 门 = 
(91(i， 门 ，93 (i， 门 ) 为 映射 
9: M'x MYi, kh=1, 2, (3.3) 
其 中 多 = 尼 %，k 二 1，2。 
由 (3.1) 一 (3.3) 给 定 的 通信 系统 是 SWC- 模型 的 严格 数 
学 描述 ， 当 SS"，(f"，g9") 给 定 后 ， 下 1x 村 ;x 天?'x 丙 :x 
1 x 入 ;上 的 联合 概率 分 布 确定 。 相 应 的 随机 变 量 为 (X'!， 
信 ;，U1，U;，Y;,，Y;)。 它们 的 联合 概率 分 布 为 
Pxi, Zag Wi Wi YI Y2) 
= Pr TF Eu ,ww )/ri ,72) I oY YI/ Cu , Ww )], 
(3.4) 
其 中 p"《zi,z2) 由 (3.1) 给 定 。 而 
frECut sm) /Coy z= 人 ?如果 wh 一 J1C51) ,k=1,2， 


0, 否则 。 
(3.5) 
1。， 如 果 ys 二 gi Cui,U1),R 二 1，2 
PE/ = a . ’ 
(3.6) 


定义 1 对 由 (3,1) 给 定 的 二 重信 源 序列 S$"， 我 们 称 R= 
(有 Ri， R,) 为 SWC- 系 统 的 一 个 可 达 速 率 对 ， 如 对 任何 2 守 0, 只 
要 


- Mi>expsLne Re (1+e)]， (3.7) 
那么 当 # 充 分 大 ， 就 有 一 组 由 (3.2)，(3.3) 确定 的 编码 (f"， 
9")， 使 

P{(Xi, Xi)(Y!i, Yi)}<e | (3.8) 


成 立 。 我 们 记 杏 为 号" 的 全 体 可 达 速 率 对 ， 且 称 之 为 可 达 速 率 区 
84 。 


多 重信 源 的 编码 问题 是 找 出 多 重信 源 的 可 达 速 率 区 域 。 


2。SWC- 模 型 的 编码 定理 


为 求 出 SWC- 模型 的 可 达 速 率 区 域 ， 我 们 讨论 无 记忆 的 信 
源 序列 。 这 时 “(3.1》〉 的 S" 满 足 条 件 ， 
下 [一 四 1X 可 XXX 囊 k= 二 1,2， (3.9) 
其 中 下 一 到 i=1，2，*…，%，k 二 1，2。 而 
pr(ztz)= TI pe 72.). 《3 .10) 


i=i 


这 时 仿 = [下 ,x 胎 ,，PCZ1，7X,)] 为 仿 ' 的 二 重生 成 信 源 。 以 下 
记 册 PCz Za2) 确定 的 随机 变量 为 (和 1 ， 交 2)。 

定理 1 如 果 有 号 "为 由 (3.9)，(3.10) 给 定 的 二 重 无 记忆 信 
源 序 列 ， 由 号 生成 。 这 时 及" 的 SWC- 可 达 速 率 区 域 为 

R={R=(R,, R,): Ri>H(X,), 

Rs,>H(XY,), Ri+R,>H(XY,,X,)}, (3.11) 
其 中 HC( 卫 ,)，H(X,)，HCX1， 子 ，) 分 别 为 三 :至 ， 的 炳 与 联 
合 焙 。 

证 明 ， 对 这 个 定理 的 正 命题 我 们 用 随机 码 的 方法 来 证 。 对 
它 的 逆 命 题 同样 可 用 法 诺 不 等 式 证 。 我 们 证 明 它 的 正 命题 。 对 
任何 (3.11) 中 的 R= (Ri，R:) 与 任何 >0， 我 们 记 

Mi=exps[ne Ry C1 T+E)], R=1, 2. 《3 .12) 

我 们 构造 编码 如 下 。 | 

《1) 随机 编码 (f1*，f;*) 为 这 样 定义 ， 

对 每 个 ziE 下 1， 取 大 *(zi) 为 独立 同 分 布 的 随机 变量 ， 
且 在 
Mi={1l, 2, 3, «'*, Mi;}, kh=1, 2, (3.12’) 
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上 取 均 匀 分 布 ， 也 就 是 对 任何 ZE 可 1;，j1E 嘲 ;， 总 有 
忆 { CD = =1/M: 《3.13) 
成 立 ， 且 
{fi*Cz1), Ti1E 7}, {fz+*Cr2), TiE 本?} 
是 两 组 相互 独立 的 随机 变量 。 这 时 ，f;* 的 一 个 样本 值 太 决定 
下 4 上 的 一 个 分 制 ， 我 们 记 之 为 
{4 ，j=1，2，…，Mj， (3.14) 
它们 互 不 相交 且 并 为 取 4， 且 有 
帮 (CziD= 一 六 当 zE 胡 1 时 ，K=1，2， C3.15) 
(2) 译 码 函数 %" 的 定义 为 
如 果 信 源 序 列 S"， 编 码 函 数 户 = ( 帮 ， 放 ) 给 定 ， 其 中 产 为 
f"* 的 一 个 样本 值 。 由 编码 函数 "二 (f1，f;) 确定 下 !， 下 ;的 
两 个 分 割 (3.14)， 使 (3.15) 成 立 。 这 时 对 任何 (i, 门 E 台 ; 
x 吗 :， 我 们 构造 译 码 函数 
gi, =(rx1, 27), C3.16) 
如 果 (zx?，z2) 满 足以 下 条 件 ; 
(Ci) (xi, Xi)E 维 1, ;XX 本 1,;， 


(ii) 有 关系 式 
hlTI) LA Ri (1+E/2), k=0, 1, 2, 《3.17) 
成 立 ，(3.17) 中 有 关 记 号 是 这 样 的 ，Ro。 一 R) +R，，X? 二 (21， 
z3)， 而 
hz1)= ~ logpi (rs), K=0, 1, 2, (3.18) 


其 中 p26)= p(T1, £2), 而 
pC2I)= > Pp"(r1, £1), 


< 2 


FC)= > DTY 7Z2)。 
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iii 《rz3 ，2) 为 瞧 一 使 条 件 (1)，《〈27; 成 立 的 向 量 对 。 
如 果 条 件 (i，(ii) 与 iii 不 能 同时 成 立 ， 则 取 9g"(t 让 为 
下 !x 下 :中 的 任意 一 个 向 量 。 
(3〉 随 机 编码 与 译 码 的 平均 误差 概率 。 
以 下 记 @@; = 人 1(8) 为 使 条 件 (3.17) 成 立 的 全 体 (z? 272 
而 全 := @: Ce) 为 加 42) 的 余 集 ， 也 就 是 全 体 不 在 @1(Cs) 中 的 
(zY，2)。 对 固定 的 编码 〈 户 ，9)， 我 们 定义 平均 误差 概率 为 
peCf"*, g"*)=P,{CXr, XI)FG*Tf TT, KY 
其 中 (f"*，g"*) 为 由 (1)，(C2〉 给 定 的 编码 ， 当 /"* 给 定 为 "时 
"+ 就 确定 为 (2) 的 g"。 由 〈(f**，g"*》 的 定义 可 知 ， 
peCf'*, 9'*)EP {CXI, Xi)EGI}+P {CII, XI EG' 
有 (X', XI)zg9*Ef"* CY, XI)]} 
(3.19) 
成 立 。 因 为 


p(X1, £2)= [I px, x2,s ) 
4 -1 


是 无 记忆 信 源 的 乘积 分 布 ,其 中 zi = (ze ，…，zi,s )，R= 1 
2。 因 此 由 大 数 定 律 可 得 极限 式 
二 zy， 2Z3) 一 一 1 Sloepte, 1:» Ya ) 


>H(X,, 半 ,)， 


Fh) = -i Dlogpilzh,s )>HCX), k=1, 2, 
其 中 “->” 为 以 概率 收敛 ， 而 pi(z)= > plz, Ta)， Ps (Ts,)= 
区 pCz1，x,)， 这 时 对 任何 之 0， 只 要 充分 大 ,就 有 
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P{(A’?, I) EG Ce)} <e/2 《3.20) 
成 立 。 我 们 现在 估计 (3.19) 式 中 不 等 式 右 边 第 二 项 的 值 ， 对 
该 项 的 值 我 们 记 之 为 pe,0oCf"*，g"*)。 
首先 由 编码 函数 产 的 定义 可 知 ， 对 任何 (ziyz2)E G's)， 
总 有 一 对 整数 (i， 门 CE 俐 ! XxX 珊 ; 合 f(z?)=i,f7(7?)=i 诚 立 ， 
因此 
pooCf'*, 9*) < > Pp"z?，X?)。P,{ 有 一 
(zz EGR 
对 (zf ，27 GE 和:， 使 
(zz 2) FT 7); 而 所 + 一 大 Cz 
k=1,， 2} 


3 
< FP, ze) Bn, zd) (3.2D 


和 名 
1 


在 (3.21)〉 中 pz《X1，X7) 的 定义 为 
Pe,1CT1, X17)=P,,1C7T1) 
二 P,{ 有 一 个 XZ1 EBi,,， 使 Xx!' 大 Xx1， 而 
fi*Cr?')=fi*(21)), 
Pe.2 CX1I, 21) = Pe,,, (7X7) 
二 P,{ 有 一 个 2 EG;,。， 使 z;' 关 Xx2， 而 
fi*Crs’)=fi*Cr:)}, 
Ds(x?，2X)) 二 P,{ 有 一 对 (zx1'，z?')EG'i, 使 
PI/ TI TI/ AT 
而 且 fi "Cr )=f1" (rz1), 2" C72) = "C7.)), 
其 中 
G@',, 三 {2i， hx) LnRl+e/2)}, k= 0,1,2, 
(3.22) 
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h(xXi)，k 三 0,1;2， 为 (3.18) 定 义 ,而 Ro 二 Ri +R,, 这 时 
G’=G'., NG',, NG.,,,. 
我 们 现在 估计 px?，z:)，s=1,2,3, 的 值 ， 由 概率 的 性 质 ， 
G1,1 与 11 “的 定义 ， 可 得 
Derxi, ZENG', ~ 1 /Mi:) 
<<exps {nm [HCXI) C1 +e/2) ~ Ri (1 +e)]} 
<exps (~ neRie/2)—0., (3.23) 
而 (3.23) 的 不 等 式 是 由 以 下 关系 推出 ; 

Ci) 由 可 达 速 率 区 域 恕 的 定义 (3.11) 式 ， 有 Ri 之 HC(X1) 
成 立 。 
《ii 由 人 G5, 的 定义 可 知 ， 对 任何 ZT1 EB@;,1， 有 

Hz3) ne Ri (1+e/2) 或 p? (Cz?) 

| exps[ -1°Ri (1+e€/2)] 

成 立 ， 因 此 有 
1@G3 ,| <exps[tne Re (1+e/2)]. 
(iii) 由 fi* 的 定义 可 得 ， 对 任何 x? 关 +z?'， 必 有 
P{fi° rt)=f7" C21)} =1/M? 
=exXps[ ~ 1 Ri*(1+e)] 
成 立 。 由 GD 一 (iii 即 可 推出 (3.22) 式 。 

` 同 理 可 得 posCr1，23)->0 成 立 ，8=2,3。 由 《3.21) 即 得 ， 
当 % 充 分 大 时 ,有 pP。,o(f?*,9;") 志 E/2 成 立 . 由 (3.19) 与 (3.20) 即 
得 ， 当 * 充 分 大 时 ， 有 p.(f1*,9;") 志 Ee 成 立 ， 因此 R= (Ri,R,)- 
为 可 达 速 率 。 定 理 的 正 命题 得 证 。 

对 该 定理 道 命题 ， 即 对 任何 可 区 域外 的 向 量 R= (R, ,R,) 
一 定 不 是 可 达 速 率 ， 对 此 命题 的 证 明 思 路 与 $3.3 定 理 1 的 逆 命 
题 相似 ， 对 此 不 再 详 述 ， 

和 SW 棋 型 的 编码 要 求 及 定理 1 的 结论 与 证 明 ， 电 可 以 看 到 
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多 重信 源 编 码 理论 的 基本 特征 .对 8 5.2 中 的 各 种 多 重信 源 同 样 
可 给 出 它 的 编码 要 求 与 可 达 速 率 区 域 ， 对 此 不 作 一 一 详 述 。 


8 5.4 多 址 信道 的 容量 区 域 与 编码 定理 


1. 二 址 信道 的 编码 问题 
二 址 信道 的 通信 模型 在 8 5.2 图 5.7 中 已 经 描述 .。 我 们 记 
C=IU, XU,, PW/ui,us), W] (4.1) 


为 一 个 二 址 信道 ,其 中 履 !, 吕 ; 为 信道 的 二 个 输入 信号 字母 表 ， 
W 为 信道 的 输出 信号 字母 表 ， 相 应 的 输入 、 输 出 信号 为 ui， 
ws; W， 而 PCw/u,Y) 为 条 件 转 移 概率 。 我 们 同样 称 

C=[Ui x Ui, PO /IN), W",n=1,2,., 

(4.2) 

为 二 址 信道 的 信道 序列 ， 其 中 四 ， 权 ;为 二 址 信道 的 输入 信号 
字母 表 序 列 , Br" 为 信道 的 输出 信号 字母 表 序 列 , 相 应 的 输入 、 输 
出 信号 为 Ww?，wW' 而 PCw"/unyyo) 为 条 件 转移 概率 ， 以 下 记 

S =- (8’,S)=[M’' x Mp'(r' ,x)] (4.3) 
为 一 个 二 址 信道 的 二 个 输入 消息 信 源 ， 其 中 


M':= {1,2,..…,M:}, k=1,2 (4.4) 
p(x!, 2)=p rp TI), PECLE)=1/MG ,R=1,2, 
(4.4’) 


这 时 编码 序列 为 (J",g") = [Cf',f1)，(g?,9;)]， 其 中 人 32,92， 


二 1,2, 分 别 为 映射 
fs: MU:, gi: W"—>M:, k=1,2. (4.5) 


如 果 C4.2) 一 (4.5) 的 二 址 通信 系统 的 信 源 S$S"， 信 和 道 C" 与 编码 
»90 。 


(1",g") 给 定 ， 那 么 相应 的 信 源 、 信 道 的 输入 、 输 出 随机 变量 确 
定 ， 我 们 记 之 为 1, 卫 ; ,071,U! 与 W"，Y;，Y;， 其 中 Y; 为 在 
也;，hk 二 1,2 上 取 值 的 随机 变量 ， 相 应 的 联合 概率 分 布 为 
DTT TY UY ,W's Y? 3) 
=P,{CX', RU, Us, Wr,Y!,Y') 
= (Ti, ,WI WW", YY2)} 


=p"(x?, TI wu'/r! 9 23) 入 


® PCW UT M2) CY! ,Yi /WwW"), C4.6) 

其 中 z 
CR ,Wi /TI 9 03) -人 如 果 Cu? ,Ww2)==f"Cz1 ,722)， 
0， 否则 。 . - 
(4.6’) 

1, 如 果 (y?Y yi) 二 9"CW")， 
"Yi,Yi/W")= (4.6”) 
/ to. 否则 ，。 
相应 的 误差 概率 为 

Pelf",g9")=P,{(XI, HI) FACYI ,YY )}, (4.7) 


定义 1 称 R= (RRa:) 为 二 址 信道 C" 的 一 个 可 达 速 率 ， 如 
果 对 任何 ?0， 当 我 们 取 (4.3) 的 MI = exp:[zReG1-e)] 时 ， 只 
要 wn 充分 大 ,就 有 一 列 (4.5) 的 编码 序列 (f",g") ,使 PD,(f",g")<<8 
成 立 ， | 1 

同样 称 可 达 速 率 向 量 的 全 体 为 可 达 速 率 区 域 。 二 址 信道 的 
编码 问题 就 是 寻找 它 的 可 达 速 率 区 域 。 


2. 容 量 区 域 与 编码 定理 


与 83.2，83.3 的 情形 相同 ， 为 求 通信 系统 的 可 达 速 率 区 
域 ， 我 们 仍 借助 于 交互 信息 ,与 &3.2 不 同 之 处 是 多 用 户 信道 的 
容量 是 一 个 多 维 向 量 的 区 域 。 我 们 先 考虑 二 址 信道 的 情形 ， 对 
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C4.1) 的 信道 C=[U' x 下 ;3，pCw"/ui su) 多 ]， 我 们 称 
pW Us) 一 DiCUI) PNG), (WW)EUVU, XV, 
(4.8) 
为 二 址 信道 的 入 口 分 布 ,其 中 Pi) 为 Us 上 的 概率 分 布 .我 们 记 
全 体 (4.8) 再 的 二 址 信道 的 入 口 分 布 为 PC(U ,x UU,)， 相 应 的 
元 为 pCU | x UU,)， 

如 果 二 址 信道 C 与 它 的 入 口 分 布 PCU , x 可,) 给 定 ， 那 么 信 
道 的 输入 、 输 出 随机 变量 UU,,，U,，W 确定 ， 它 们 的 联合 概率 
分 布 为 

pu Us W)=P.{U Us W)= ,Ww)} 
一 DCUI Us PW hs) 
=Pi(K1)ps (HID WwW/ ,Ws ) 。 (4.9) 
而 相应 的 交互 信息 为 


加 bu ,Ws yy) 
ICU,,U,);, W)= > PXT WOgT Go ne gCw) $ 


(4.,10) 


HW 


加 PC ,W/W1) 、 
ICw,yW/U) = ,Piss )108 Ten Sp ewe 


(4.10) 


_ PW Ws) 
I(U, WI/U,) .之 Pst ,Ww)log piw YD/ )’ 


(4.10”) 
其 中 pi Cw1)，Pza Cw) ,pi W/W), plus WIKI), CW/w), 
qC(Ww/w;) 均 为 p(w1 ws，,w) 的 边际 分 布 与 条 件 分 布 、 以 下 记 
T=1[(U,,U,):W), T=I(U,;W/U,), 
1;=I(U, ;W/U,)., (4.11) 
我 们 定义 
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RIpCU ,XU,)]= {R= (RR,), 0<Rs<l,, 
k=0,1,2}, (4.12) 
其 中 I;,，kR=0,1,2, 为 (4,11) 定 义 ， 而 Ru=R,+R,, 
定义 1 对 (4.1) 的 二 址 信道 C 的 容量 区 域 吾 (C 7 定义 为 集 
合 召 [P(Er ,x DU,)] 对 全 体 不 同 的 Pp(U XU.)EP(U,xU,) 
的 并 . 
对 (4.2) 的 二 址 信道 序列 C"，# 三 1,2,…， 我 们 同样 可 定 
义 它 的 容量 区 域 瑟 (C")， 它 为 集合 妃 [PCU ! x U2)] 对 全 体 不 
同 的 pCU! x UV) E POV!?xU?) 的 并 ， 其 中 POUV?XU?) 为 
rix Er; 上 的 全 体 乘积 型 (也 就 是 具有 (4.8) 型 ) 的 概率 分 布 ， 
而 
RIpCU!I x UU?)]={R= (R,,R,), 
0<R,.<I /kh=0,1,2}, (4,12) 
其 中 
13=ILU? ,UD W"], I?=1U? W/V:), 
T=I(V ;W/V!) (4.11’) 
为 相应 随机 变量 的 交互 信息 或 条 件 交互 信息 ， 
对 二 址 信道 同样 可 定义 它们 的 无 记忆 性 。 如 果 (4.2) 的 C” 
满足 条 件 
(1) 它 的 字母 表 分 别 为 - 维 乘 积 型 向 量 空间 ， 这 时 


Ui=TIU,:, £=1,2 本 "= [| mr， (4.13) 
t=1 tel 


其 中 四 = 机 R=1 2 W,=W. 
(2) 转移 概率 分 布 


p'Cw" /ur ,ws) = [EP ew/ ts,) (4,13’) 


tal 
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对 任何 Wi 二 Gs Si 区 一 (ayU2 9" Wz,n), 
WwW" 二 (WisWs， Ws) 成 立 ， 这 时 我 们 称 C" 为 由 C 生 成 的 无 记忆 
二 址 信和 道 序列 。. 

定理 1 如 果 C'* 为 由 C 生 成 的 无 记忆 二 址 信道 序列 , 那么 它 
们 的 信道 容量 区 域 为 机 CC) =” 展 (C)， 其 中 

1 本 =((8RifeR)，R= (Ri,R,)E RR), 

该 定理 的 证 明 与 $ 3.2 的 无 记忆 信道 容量 的 性 质 定理 的 证 
号 相似 ， 在 此 只 要 进一步 利用 条 件 交 互信 息 的 性 质 就 可 证 明定 
理 。 | 

. 定理 2 ”如 果 C" 为 由 C 生成 的 无 记忆 二 址 信道 序列 ， 那 么 

"的 可 达 速 率 区 域 就 是 和 的 信道 容量 区 域 。 

对 该 定理 的 证 明 同 样 可 用 “随机 编码 ”与 “信息 门限 " 译 码 的 
方法 来 证 。 对 此 我 们 也 不 再 详 述 了 。 


3. 多 用 户 信息 论 的 其 它 问题 
本 多 址 信道 是 二 址 信道 的 形式 推广 , 一 个 及 址 信道 序列 可 记 


Ci=[Ui: XU Xx Us,pw/u:, Wi, Ks), WW "), 
名 一 1 2 3 (4.14) 
对 此 我 们 可 园 样 定义 它 的 编码 函数 .可 达 速 率 区 域 与 容量 区 域 。 
且 对 它们 的 编码 定理 可 作 类 似 的 推广 . 


对 其 它 的 多 用 户 通信 系统 (如 广播 信道 、 有 边 信息 信道 、 
有 反馈 信号 信道 等 ), 它 们 的 可 达 速 率 区 域 与 容量 区 域 的 关系 在 
许多 情形 不 具有 等 价 关 系 。 因此， 它们 的 编码 理论 要 比 本 章 中 
的 SWC- 模 型 与 二 址 信道 模型 复杂 得 多 ， 在 这 些 模型 中 ， 人 们 
只 能 找到 若干 区 域 的 上 、 下 界 关系 ， 从 而 构成 多 用 户 信息 论 中 
的 一 系列 未 解决 问题 ， 
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第 六 章 信息 量 在 信息 科学 的 
它 分 支 中 的 应 用 


由 于 信息 科学 的 最 新 发 展 ， 信 息 的 度量 在 更 多 的 学 科 领 域 
中 得 到 应 用 与 发 展 ， 典 型 的 问题 有 如 “信息 量 在 密码 学 中 的 应 
用 ”; “信息 量 与 计算 机 复杂 性 理论 及 与 分 形 儿 何 的 关系 ”“ 信 
eta 
我 们 只 作 简单 的 描述 ， 通 过 这 些 描述 可 以 看 到 信息 度量 在 更 多 
领域 中 的 作用 ， 


86.1 信息 量 在 密码 学 中 的 应 用 


1. 密 码 系统 的 模型 与 要 素 

一 个 密码 系统 与 一 个 通信 系统 相似 。 它 同样 由 信 源 、 信 道 、 
加 密 、 解 密 运 算 构 成 ， 同 时 它 又 有 “ 密 铀 源 ",， “干扰 源 " 与 “分 
析 者 ”存在 。 它 的 框图 为 图 6.1 记 示 。 


图 6,1 密码 系统 结构 框图 


其 中 信 源 、 信 道 的 描述 与 82.1 相 同 ， 我 们 仍 记 为 

SS=[ 晨 ,Pp(7)], C=[U ,pV/W ,VD (1.1) 
为 了 简单 起 见 ， 在 密码 系统 中 常 取 信道 和 为 无 噪声 的 ， 这 时 了 
=VU, Hr/w)=1, pW/W) =0， 当 vu 时 , 

加 密 运算 一 般 是 一 个 带 参 数 的 映射 

T,X), >U, EEKR, 《1.2) 
其 中 正 为 加 密 运算 的 参数 空间 ， 我 们 称 之 为 密 铀 空间. 对 密 钥 
的 选取 一 般 也 是 随机 的 ， 以 下 记 gC&)，kE 县 为 密 铜 选取 的 概 
率 分 布 ， 我 们 称 

B={[x RK, pk)], TE KK}, (1.3) 
为 一 个 密码 系统 ， 其 中 p(z, 包 为 明文 与 密 钥 的 联合 概率 分 布 。 
在 密码 系统 中 ， 明 文 与 密 钥 的 选取 一 般 是 相互 独立 的， 这 时 
DCzR) 一 DGz)9(CR) 。 

在 密码 系统 中 ， 信 源 又 称 为 明文 信 源 (或 简称 为 明文 ;， 明 
文 经 过 加 密 运 算 后 变 为 密 文 。 对 密 文 一 般 不 再 作 其 他 的 加 密 措 
施 。 在 框图 6.1 中 ， 解 密 运 算是 加 密 运算 的 逆 运 算 ,我 们 记 之 为 
TD， 这 时 T71Co) 为 一 个 从 朴 到 到 一下 的 映射 。 我 们 称 y== 
Tx! Cu) 为 明文 的 复制 。 加 密 与 解密 运算 是 密码 系统 的 核心 部 
分 ， 近 代 密 码 学 就 是 以 密 钥 的 选取 为 保密 学 的 基础 。 因 此 ， 人 
们 常 把 加 密 、 解 密 运 算 称 为 密码 体制 。 
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如 我 们 记 互 ，K，U，Y 分 别 为 明文 、 密 铀 、 密 文 与 明文 复 
制 的 随机 变量 ， 那 么 它们 的 联合 概率 分 布 为 
prshksust) =P{ CR, KU,Y) = (c,h,u,)} 
=p(x)g BIT/z, OT- (Y/R), (1.4) 


其 中 TCy/z,k) -和 ee 
1， 如 果 y=Th? Cw)， 
0， 否 则 。 


密码 系统 的 破坏 者 称 为 “对 手 ?>， 对 手 的 类 型 有 “窃听 分 析 
型 ”与 “干扰 型 "。 其 中 窒 听 分 析 型 是 通过 对 密 文 的 收集 与 分 析 
来 了 解 明文 ， 而 干扰 型 是 对 明文 或 密 文 数据 进行 干扰 ， 使 用 户 
自己 不 能 使 用 通信 系统 或 产生 错误 的 决策 。 防 窃听 分 析 型 的 密 
码 系统 为 保密 系统 ， 而 防 干扰 型 的 密码 系统 为 数据 安全 系统 ， 
这 两 种 系统 在 数学 构造 上 无 原则 的 差别 ， 但 它们 的 具体 特征 在 
计算 机 运作 中 是 不 相同 的 。 

近代 密码 学 是 计算 机 与 信息 科学 中 重要 分 支 ， 除 了 在 传统 
的 政府 、 军 事 领 域 之 外 ， 在 企 事业 、 金 融 、 新 闻 乃 至 家 庭 个 人 
生活 中 都 有 许多 应 用 。 它 的 内 容 、 方 法 也 很 丰富 。 典 型 的 密码 
体制 有 如 DES 体 制 ， 公 钥 体 制 等 ， 其 中 DZES 体制 是 美国 的 一 种 
国家 标准 加 密 体制 ， 而 公 钥 体制 是 一 种 把 加 窗 密 名 与 解密 密 铀 
区 分 且 可 把 加 密 密 钥 公 开 的 密码 体制 ， 它 是 一 种 应 用 广泛 的 近 
代 密 码 体制 。 在 本 节 中 ， 我 们 具 介绍 与 信息 量 有 关 的 内 容 。 


2 .密码 系统 的 评价 标准 ， 
利用 信息 量 可 对 密码 系统 进行 了 一 系列 的 好 坏 评价 。 主 要 指 
标 有 以 下 几 项 。 


T-1(y/z,h) = 
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《1) 密码 系统 的 完善 性 

上 文 已 经 说 明 ， 一 个 窃听 者 是 通过 密 文 来 分 析 明 文 的 ， 也 
就 是 ， 窃 听 者 是 通过 密 文 来 获取 明文 的 信息 。 因 此 ， 一 个 理想 
的 密码 系统 是 它 的 密 文 不 含 任何 明文 的 信息 . 

定义 1 一 个 密码 系统 五 被 称 为 是 完善 的 (petfect》 密码 系 
统 ， 如 果 明 文 卫 与 密 文 Y 是 相互 独立 的 随机 变量 ,也 就 是 它们 的 
交互 信息 1(XY)=0. 

一 个 完善 的 密码 系统 是 理想 的 密码 系统 ， 任 何 分 析 省 都 不 
能 出 密 文 得 到 任何 关于 明文 的 信息 ,但 另 一 方面 ， 在 实际 的 密 
码 系统 中 ， 由 于 密 钥 空间 的 有 限 性 及 通信 过 程 的 无 限 性 〈 也 就 
是 通信 数据 可 无 限 延 长 ), 因 此 ， 对 任何 一 个 有 限 的 密 钥 空间 ， 
在 一 个 长 期 使 用 的 密码 系统 中 要 永远 保持 完善 性 是 不 可 能 的 ， 
因此 我 们 必需 考虑 一 个 实际 上 不 可 破 的 密码 体制 。 一 个 实际 上 
不 可 破 的 密码 体制 必需 具备 以 下 两 个 条 件 ， 即 

(i) 密 文 关于 明文 的 条 件 料 (了 /U0) 必需 足够 大 。 这 就 是 
分 析 者 在 获知 密 文 U 后 ， 明 文 芝 的 不 肯定 性 必需 很 大 ， 

(1) 分 析 者 在 未 知 密 钥 8 的 情形 下 , 册 密 文 u 求 明文 x 的 运算 
是 非 易 计算 的 。 非 易 计算 的 术语 是 计算 复杂 性 理论 中 的 术语 ， 
它 的 严格 定义 就 不 叙述 了 。 四 

(2) 密码 体制 的 剩余 度 分 析 

在 实际 通信 中 ， 分 析 者 有 可 能 同时 获得 部 分 明文 与 密 文 ， 
例如 若干 历史 资料 的 公开 可 使 分 析 者 同时 获得 这 些 资 料 的 明文 
与 密 文 ， 一 个 可 靠 的 密码 体制 必需 保证 在 这 些 资 料 泄露 后 的 安 
全 性 。 这 就 要 求 密码 系统 的 条 件 业 HC(Z/U, 子 ,,U。) 足够 大 ， 
其 中 这 ,0 ,为 历史 的 明文 与 密 文 资料 ， 而 称 瑟 (了 /0U ,至 0Uo) 
为 剩余 度 

利用 信息 量 可 对 各 种 密码 体制 的 完善 性 进行 分 析 与 对 HCZX 
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/VU)，H(X/U, 了 ,0 进行 计算 ， 对 上 述 密码 系统 我 们 只 给 出 
了 一 个 静态 模 形 ， 对 动态 情形 必需 引进 序列 模型 。 因 此 本 节 的 
描述 只 是 定性 的 说 明 。 

(3) 其 它 指 标 有 如 ， 理 论 或 实际 的 不 可 破 狂 ， 设 备 与 操作 
的 篇 便 性 ， 与 计算 机 的 匹配 性 等 等 。 因 为 这 些 条 件 与 信息 量 无 
关 ， 所 以 在 本 书 中 不 作 详 述 了 ， 


$ 6.2 信息 量 与 计算 机 复杂 性 理论 
与 分 形 几何 的 关系 


1, 算 法 信息 论 与 柯 尔 黄 各 洛 夫 复杂 性 


80 年 代 初 ， 人 们 对 信息 量 的 改进 提出 了 一 条 新 的 途径 ， 它 
与 计算 机 复杂 性 理论 密切 相关 ， 因 此 人 们 把 它 称 为 “算法 信息 
论 ”" ,算法 信息 论 的 基本 观点 如 下 ， 

(1) 算法 信息 论 的 基本 观点 之 一 是 认为 ， 仙 农 信息 量 的 一 
个 主要 不 合理 性 是 不 考虑 每 个 事件 本 身 所 具有 的 信息 。 因 为 在 
仙 农 炉 的 定义 中 只 考虑 每 个 事件 的 概率 分 布 ， 事 实 上 ， 在 信息 
处 理 中 ， 每 个 事件 不 仅 有 出 现 的 概率 有 所 不 同 ， 而 且 每 个 事件 
本 身 可 能 具有 不 同 的 信息 。 例如， 在 一 篇 文章 中 ， 有 的 词句 特 
别 重要 ， 而 有 的 词句 则 无 关 紧 机， 又 如 在 数值 计算 中 ,对 99 与 
9。 两 个 数 ， 它们 出 现 的 符号 完全 相同 (都 是 三 个 9 字 ) 但 它 
们 的 计算 量 有 很 大 的 差别 

因此 ， 算 法 信息 论 的 第 一 个 基本 观点 是 必需 考虑 每 个 事件 
本 身 所 具有 的 信息 。 

(2) 为 考虑 不 同事 件 本 身 所 具有 的 信息 ， 必 需 有 一 种 统一 
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的 信息 度量 标准 。 因 为 客观 事物 千差万别 ， 要 建立 这 种 统一 的 
信息 度量 是 十 分 困难 的 。 算 法 信息 论 的 第 二 个 基本 观点 是 对 这 
种 统一 的 信息 度量 标准 应 以 计算 复杂 性 为 基础 来 进行 考虑 。 算 
法 信息 论 认 为 ， 计 算 复 杂 性 就 是 信息 的 度量 。 

这 样 算法 信息 论 就 把 信息 度量 与 计算 复杂 性 溶 为 一 体 ， 因 
此 ， 竺 法 信息 论 是 信息 论 与 计算 机 科学 的 结合 点 

算法 信息 论 中 关于 信息 度量 的 核心 是 柯 尔 莫名 洛 夫 复杂 
度 。 关 于 柯 尔 莫名 洛 夫 复 杂 度 的 严格 定义 与 性 质 的 讨论 要 涉及 
到 递归 函数 理论 ， 因 此 我 们 只 能 概述 它 的 基本 思路 。 

如 果 我 们 记 z 为 计算 机 要 计算 的 结果 数据 ， 为 实现 对 z 的 计 
算 (使 z 成 为 计算 机 的 输出 )， 我 们 必需 设计 一 个 程序 了 ， 使 这 
个 程序 P 在 特定 或 通用 的 计算 机 T 中 进行 运算 ,使 运算 结果 T(P) 
=z。 为 实现 4T(P) =z" 这 个 目标 ， 我 们 可 以 设 计 许 多 程序 ， 其 
中 最 短 的 程序 长 度 就 为 柯 尔 莫 各 洛 夫 复杂 度 。 因 此 ， 柯 尔 英 各 
洛 夫 复 杂 度 的 定义 为 

KCx)=min{i(P), T(P)=7}, ， (2.1) 

其 中 1CP) 为 程序 长 度 。 

(2.1) 的 严格 定义 要 用 递归 函数 来 叙述 。 因 为 上 述 柯 尔 莫 
各 洛 拓 复杂 性 是 用 程序 长 度 来 计算 ， 因 此 在 计算 复杂 性 理论 中 
又 把 它 称 为 “描述 复杂 人 性 ?。 

2. 分 形 几何 与 豪 斯 道夫 维 数 

传统 的 几何 维 数 都 是 整数 ， 由 于 “分 形 几何 ?的 出 现 ， 传 统 
维 数 的 概念 已 不 能 概括 分 形 几 何 中 的 许多 内 容 。 对 此 我 们 作 以 
下 儿 点 撕 述 . 


(1) 自 相似 理论 
自 相似 概念 是 分 形 几 何 中 的 重要 部 分 。 它 的 定义 是 这 样 ， 
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一 种 几何 图 形 ， 如 果 它 可 分 解 成 几 个 部 分 ， 而 且 图 形 的 整体 与 
每 个 部 分 都 为 相似 形 ， 由 这 种 相似 性 可 知 ， 对 每 个 局 部 又 可 分 
解 成 相同 个 数 的 相似 的 子 局 部 。 依 此 类 推 ， 一 个 自 相似 图 形 可 
以 有 无 数 多 个 相似 的 局 部 图 形 组 成 。 

自 相似 理论 有 许多 现实 的 应 用 背景 。 如 地 理学 中 海岸 线 的 
图 形 ， 化 学 中 某 些 高 分 子 材料 的 生长 过 程 及 生物 医学 中 的 癌 细 
胞 的 生长 过 程 等 。 在 数学 中 ,典型 的 自 相似 图 形 有 如 康 托 (Can- 
tor) 集 ， 二 维 康 托 集 等 。 康 托 集 的 图 形 如 图 6.2 所 示 , 它 把 每 个 
线段 切 去 中 间 的 三 分 之 一 纂 ,这 时 由 线段 @。 产 生 @ 1,G@;,G，， 
…。 对 二 维 康 托 集 也 有 类 似 定义 ， 每 次 切 去 方块 中 间 的 三 分 之 
一 部 分 ， 如 图 6. 3 所 示 ， 


图 6.2 康 托 集 
| 加 量 旧 加 一 重生 
CT TT i 
DU 下 电 屋 
rT 
Tt 
7 
-TTTTT 二 和 
一 上 
@， G, G, 
图 6 .3 二 维 康 托 集 


” (2)- 豪 斯 道夫 CHausdorff) 维 数 : .- 
我 们 现在 给 出 豪 斯 道夫 维 数 的 严格 定义 ， 设 @， 妖 是 4- 维 
欧 攻 空 间 愧 "中 的 子 集 ， 记 |z~y| 为 各 "中 两 点 z，y 的 距离 ， 而 
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IU|=min{lz-yl, rz,yEU} (2.2) 
为 如 的 直径 。 如 果 @ 忆 UD,， 且 对 每 个 1 有朋 |U ,| 过 6， 这 时 称 
{要} 为 @@ 的 一 个 6- 复 盖 ， 
设 s 为 一 个 非 负数 ， 对 任何 6>>0， 我 们 定义 


H(G,s,0)=inf{ 之 | 下 ,| { 朴 为 @@ 的 4- 复 盖 }， 


(2.3) 
HCG,sS) =1imH(G ,s, 6)=supH(G,s,0),. (2.4) 
S80 6>0 


因为 HCG ,s,0) 是 9 的 单 增 函 数 ， 所 以 (2.4) 式 成 立 ， 这 时 称 
HCG ,5) 为 @ 的 s- 维 豪 斯 道夫 外 测度 。 
定义 1 称 sdim(G@) 为 @ 的 豪 斯 道夫 维 数 ， 如 果 s。 满 足 
条 件 ， 
oo， 如 果 0 志 5 之 so， . 
HG,)-{ 如 果 s0<s 之 (2.5) 
由 豪 斯 道夫 维 数 的 定义 可 得 康 托 集 尺 的 窜 斯 道夫 维 数 是 
dim(@)=10g2/log3 = 0.6309..., 
且 H(G)=H(@G,s,)=1, 


3, 仙 农 炳 与 柯 尔 莫 各 治 夫 复 杂 度 与 豪 斯 道夫 维 数 
的 关系 


关于 柯 尔 莫 各 洛 夫 复杂 度 与 豪 斯 道夫 维 数 有 一 系列 的 专著 
与 论文 进行 讨论 。 在 本 节 中 我 们 指出 的 一 点 是 它们 都 可 与 仙 农 
迷 建 立 一 系列 的 等 价 关系 。 这 些 等 价 条 件 的 讨论 文献 可 在 本 书 
最 后 的 索引 中 找到 。 

仙 农 燃 与 柯 尔 蔓 各 洛 夫 复 杂 岩 、 豪 斯 道夫 维 数 的 等 价 性 的 
”发 现在 信息 论 的 发 展 中 有 十 分 深远 的 意义 ， 它 不 仅 使 信息 论 走 
向 信息 科学 ， 且 使 信息 的 度量 向 更 宽广 的 领域 发 展 。 无 论 是 仙 


。 102。 


农 滴 还 是 柯 尔 莫 名 洛 夫 复 杂 度 或 豪 斯 道夫 维 数 ， 它 们 都 是 客观 
世界 中 一 种 复杂 性 的 度量 。 了 解 这 个 情形 对 信息 科学 今后 的 发 
展 有 重要 意义 。 


8 6.3 ”信息 量 在 统计 理论 中 的 应 用 


信息 量 在 统计 理论 中 的 应 用 范 转 很多， 例如， 在 谱 佑 计 中 
的 箭 谱 估计 理论 ， 假 设 检验 中 的 误差 分 析 ， 投影 寻 踪 (Projec- 
tion Pursuit) 中 的 信息 准则 及 微分 几何 中 的 信息 统计 理论 ， 由 
于 篇 幅 有 限 ， 对 这 些 问 题 我 们 不 可 能 作 全 而 介绍 。 

在 本 节 中 ， 我 们 要 说 明 的 一 点 就 是 互 篇 在 微分 流 形 中 的 作 
用 。 如 把 概率 分 布 空间 看 作 一 个 黎 曼 空间 ， 那 么 费 歇 (Fisher)? 
信息 矩阵 就 是 这 个 黎明 空间 的 度 规 张 量 ， 而 互 精 就 是 两 个 概率 
分 布 的 测 地 距离 。 我 们 认为 ， 这 一 事实 的 发 现 对 信息 论 今后 的 
发 展 与 应 用 有 十 分 重要 的 意义 。 因 为 ， 重 要 空间 的 距离 关系 ， 
是 该 空间 理论 发 展 的 基础 ， 如 欧 氏 空间 中 距离 关系 已 成 为 近代 
数学 的 基础 支柱 之 一 ,而 测 地 距离 正 是 欧 氏 空间 中 距离 的 推广 。 

另 一 方面 ， 上 述 发 现 把 费 歌 信息 、 互 炉 等 概念 给 出 了 紧密 
的 联系 ， 它 们 的 相互 关系 不 仅 得 到 了 统一 的 解释 ， 而 且 突出 了 
互 滴 的 地 位 。 这 对 今后 统计 理论 的 深化 研究 是 十 分 有 用 的 。 这 
样 就 可 利用 信息 量 的 理论 ， 得 到 比 常规 统计 更 深入 的 结果 。 近 
几 年 得 到 的 结果 有 如 ， 参 数 估 计 的 高 阶 晕 近 ， 指 数 型 分 布 中 参 
数 的 对 偶 估 计 ， 假 设 检验 中 两 类 误差 的 指数 收敛 性 等 。 对 这 些 
问题 的 论述 涉及 许多 专门 知识 与 篇 幅 ， 有 兴趣 的 读者 可 参阅 有 
关 文献 。 
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结 束 语 


在 本 书 中 ， 我 们 概述 了 信息 度量 的 类 型 与 应 用 情况 ， 其 中 
对 但 农 精 的 引入 、 性 质 与 编码 理论 作 了 比较 完整 的 叙述 ， 对 无 
噪声 信 源 编码 定理 ,无 记忆 信道 编码 定理 ; 多 重信 源 中 的 SWC- 
模型 的 信 源 编码 定理 给 出 了 严格 的 证 明 ， 由 此 我 们 可 以 看 到 他 
. 农 信息 论 的 基本 特征 与 它 的 经 典 内 容 ， 

由 于 信息 论 的 近代 发 展 与 应 用 要 求 ， 对 信息 量 的 定义 来 源 
与 应 用 领域 日 趋 扩大 。 从 目前 发 展 的 情形 来 看 ， 这 些 领 域 的 扩 
大 不 仅 没有 缩小 仙 农 炮 的 作用 ， 反 而 增加 了 它 的 丰富 内 涵 。 许 
多 原来 完全 不 同 的 概念 〈 如 柯 尔 莫 各 洛 夫 复杂 度 ， 豪 斯 道夫 维 
数 等 ) 都 可 与 仙 农 病 发 生 等 价 关 系 。 由 此 可 见 ， 信 息 度量 的 定 
义 与 应 用 范围 及 < 信息 科学 的 学 科 分 支 正在 不 断 地 发 展 、 形 成 
与 扩大 。 

由 于 篇 幅 所 限 ， 许 多 有 意义 的 分 支 与 问题 在 本 书 中 未 能 提 
及 ， 如 量子 信号 的 信息 处 理 问题 ;: 调制 编码 与 光 、 磁 介质 材料 
的 信息 存储 编码 ;交互 信息 在 投资 决策 问题 中 的 应 用 等 。 这 些 
领域 与 问题 也 说 明了 信息 量 的 广泛 应 用 。 
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索 引 


1- 仙 农 信息 论 的 黄 基 性 工作 是 528) 文 ,关于 仙 农 箭 . 信 源 、 
信道 编码 问题 乃至 率 失真 理论 的 原始 思想 都 来 自 该 文 。 

2 .关于 仙 农 箭 的 引进 与 基本 性 质 ， 信 源 、 信 道 的 编码 定理 
在 信息 论 的 许多 基础 教材 与 专门 著作 中 均 有 论述 ， 如 [5]，[6]， 
[10]，[12]，f[13]，[14]，[24]，[251]，[38]，[39]，[43]， 
[45) 等 文 。 其 中 ，[12) 文 是 早期 的 系统 著作 ， 其 它 各 文 是 在 基 
本 问题 研究 基础 上 的 发 展 与 深化 ,因此 它们 各 有 和 特色。 例如, 书 
[13) 是 一 本 典 列 教材 ， 在 书 [5]，[6)])，[14J 中 ， 有 许多 近代 研 
究 的 成 果 介 绍 ，[39] 用 组 合 方 法 研究 编码 定理 ， 是 国际 上 近代 
研究 信息 论 的 主流 方法 ，[43) 是 一 本 基础 与 专门 内 容 相 结合 的 
著作 ， 对 国内 的 研究 成 果 有 很 多 的 介绍 。 

对 仙 农 信息 量 的 特殊 补充 研究 有 [C16)，[42) 等 文 。 

对 编码 理论 的 一 般 序列 模型 研究 有 [8]，[16), C17) 等 文 ， 
其 中 [8] 文 用 一 般 概率 空间 给 出 了 序列 模型 的 一 般 描述 ， 而 
[16)，[17) 等 文 深化 研究 了 序列 模 的 结果 ， 给 出 了 仙 农 定理 的 
一 系列 性 质 。[16] 文 是 若干 结果 的 综述 。 

对 有 记忆 信道 的 编码 问题 在 [29] 文 中 有 专门 研究 。 

3, 关 于 连续 概率 空间 中 的 互 炳 等 理论 为 专车 [26] 研 究 ， 该 
书 是 一 本 对 连续 概率 分 布 的 互 简 引进 、--- 般 性 质 与 极限 理论 有 
全 面 的 论述 ,而 对 x- 精 、 多 异 度 的 讨论 有 [ 1 1, 043], [4 人 4 等 文 。 

对 最 大 焙 原 理 与 最 小 互 箭 原理， 在 〔6]，[21] 中 有 完整 的 
介绍 ， 其 中 56) 文 给 出 了 各 种 分 布 的 计算 公式 ， 
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4, 对 代数 码 理论 的 专著 有 [349，[4)，[237,[33}] 等 ,另外 ， 
在 [10]，[24]，[25] 等 文 由 也 有 论述 . 

对 卷 积 码 的 讨论 有 [53，[63，[24]，[25]，[5433 等 文 ， 其 
中 [43] 文 对 卷 积 码 的 误差 界 问题 有 深入 分 析 。 

5. 文 献 [3] 是 研究 率 失真 理论 的 专著 ， 而 [72> 文 是 研究 多 用 
户 信 源 、 信 道 编 码 定理 的 专著 。 另 外 ， 对 多 用 户 信息 论 的 综合 
介绍 论文 有 [9]，[18]，[31]，[32] 等 文 。 在 (5]，[6]，【〔(24]， 
[5433 等 书 中 也 有 多 用 户 信息 论 的 讨论 。 

6. 关 于 密码 学 的 著作 有 [20]，[31]，[35)，【37] 等 文 ， 另 
外 在 [25]，[34]，(43] 等 书 中 也 有 论述 。 

7. 关 于 柯 尔 莫 各 洛 夫 复杂 度 的 提出 是 柯 尔 莫 各 洛 夫 的 工 
作 ， 见 C19] 文 ， 柯 尔 莫 各 洛 夫 复 杂 度 与 仙 农 售 的 等 价 性 在 书 
[63 中 有 完整 的 论述 。f40]，[41] 文 给 出 了 一 系列 结果 。 

文献 [11] 是 研究 分 形 儿 何 的 专著 。[27)] 文 给 出 了 关于 豪 斯 
道夫 维 数 、 柯 尔 莫 各 洛 夫 复杂 度 与 仙 农 粹 的 等 价 性 的 证 明 。 

8 ,研究 信息 与 统计 的 专著 有 (2]，[21]，[22] 等 书 ， 其 中 
[23 文 是 在 微分 流 形 中 研究 信息 统计 问题 的 著作 ,对 费 软 信息 ， 
互 炉 等 问题 给 出 了 深刻 的 讨论 ， 

文献 [36) 介 绍 了 近代 谱 估 计 的 一 系列 方法 ， 这 些 方 法 与 最 
大 炳 原理 等 性 质 相 连 系 。515) 文 是 一 本 研究 量子 信号 检测 与 估 
值 的 专著 ， 那 里 的 概率 分 布 与 仙 农 炳 是 希 尔 伯 脱 CHilbert)》 空 
间 中 的 算 子 ， 

9, 调 制 编码 问题 是 一 种 把 连续 信号 直接 变 为 离散 信号 的 编 
码 方式 ， 在 近代 通信 中 有 重要 的 应 用 ， 对 它 的 处 理 方式 与 作用 
在 [5) 文 中 有 详细 的 介绍 。 

交互 信息 在 投资 决策 问题 中 有 一 系列 的 应 用 ，[62 文 给 出 
作者 在 该 领域 中 的 一 系列 工作 ， 
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编 后 记 


1989 年 夏 ， 国 内 一 些 数学 家 和 湖南 教育 出 版 社 编辑 同志 在 
南开 大 学 和 北京 大 学 聚会 ， 深 深 感到 “当今 数学 的 面貌 日 新 月 
异 ， 数 学 的 功能 正在 向 其 他 自然 科学 、 工 程 技术 甚至 社会 科学 
领域 扩展 和 渗 迁 ， 数 学 本 身 在 强大 的 社会 要 求 和 内 部 动力 的 推 
动 下 ， 不 断 追 求 自身 的 发 展 和 完美 ">， 希 望 能 组 织 各 方面 专家 编 
写 一 批 书 藉 .4 在 中 学 数学 的 基础 上 ， 用 现代 观点 向 高 中 生 、 中 
学 教师 、 大 学 生 、 工 程 技术 人 员 、 自 然 科 学 和 社会 科学 工作 者 
以 及 一 切 数 学 爱好 者 介绍 一 些 数 学 思想 ， 使 大 家 真正 地 认识 数 
学 ， 了 解数 学 ， 热 爱 数 学 ， 走 向 数学 "这 就 是 < 走向 数学 ”从 
书 的 起 源 。 我 们 商定 这 套 通 俗 读物 的 宗 曾 是 :用 浅显 易 懂 的 语 ， 
言 从 各 个 方面 和 角度 向 读者 展示 一 些 重 要 的 数学 思想 ， 讲 述 数 
学 (尤其 是 现代 数学 ) 的 重要 发 展 ， 介 绍 数 学 新 兴 领 域 、 数 学 的 
广泛 应 用 以 及 数学 史上 主要 数学 家 (包括 我 国 数学 家 ) 的 成 就 。” 

由 于 数学 界 大 力 支持 、“ 数 学 天 元 项 目 ? 的 赞助 和 各 方面 执 
情 协 助 ， 一 年 后 ， 第 一 辑 八 本 书 已 与 读者 见面 ， 第 二 辑 也 即将 
出 版 。 这 十 六 本 书 尽 管 深浅 不 同 ， 风 格 各 异 ， 但 至 少 有 一 个 共 
同 之 处 , 即 作者 们 均 朝 着 本 丛书 的 宗 骨 和 目标 作 了 认真 的 努力 。 

在 这 批 书 中 ， 作 者 们 介绍 了 近年 来 数学 一 些 重要 发 展 和 新 
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的 方向 (其 中 包括 1990 年 觉 尔 兹 奖 获 得 者 V， Jones 在 酉 扩 学 经 
结 理论 方面 的 杰出 工作 ， 醋 相 学 家 Kuhn 和 Simale 在 数值 复杂 
性 方面 的 开创 性 工作 ， 实 动力 系统 的 英 基 性 结果 等 ), 以 中 学 数 
学 为 起 点 介绍 一 些 数学 分 支 和 课题 (如 复 坞 数 、 非 趴 几何 、 有 
限 域 、 西 性 、 拉 姆 塞 理论 、Polya 计 数 技术 等 )， 通 过 具体 实例 
引伸 出 重要 的 数学 思想 和 方法 (如 数论 在 数值 计算 中 的 应 用 , 几 
何 学 的 近代 观点 ， 群 在 集合 上 的 作用 ， 计 算 的 复杂 性 概念 等 )， 
从 不 同 的 侧面 介绍 了 数学 在 物理 、 化 学 、 经 济 学 、 信 息 科 学 以 
及 工农 业 生 产 等 方面 的 广泛 应 用 ， 包 括 华 罗 广 教授 多 年 来 在 中 
国 普 及 数学 方法 的 宝贵 经 验 。 在 蔬 的 正文 或 附录 中 ， 作 者 们 介 
绍 了 中 外 许多 数学 家 的 生平 和 业绩 ， 特 别 是 国内 外 数学 家 为 华 
罗 度 教授 了 所 写 的 纪念 文章 ,从 不 同 侧面 回忆 了 他 早年 的 业绩 , 赞 
扬 他 为 新 中 国 培养 人 材 和 热爱 祖国 献身 事业 的 可 责 精 神 ， 这 对 
于 我 们 ( 包 持 年 轻 一 代 ) 是 有 很 大 教育 意义 的 。 

尽管 作者 们 作 了 很 大 的 努力 ， 但 我 们 深 知 ， 用 通俗 语言 介 
绍 如 此 丰富 的 数学 思想 和 飞跃 的 发 展 , 是 一 项 十 分 艰难 的 任务 ， 
在 第 一 批 书 出 版 之 后 ,我 们 热诚 地 欢迎 广大 读者 的 批评 和 意见 ， 
以 利于 今后 的 改进 和 提高 ,如 前 所 述 , 这 批 书 的 写作 风格 各 凡 ， 
取材 的 深度 和 广度 也 有 所 差别 ， 即 使 不 少 作者 几 易 其 稿 ， 力 图 
把 基点 放 在 初等 数学 ， 但 是 要 介绍 现代 数学 的 思想 和 内 容 ， 很 
难 避 免 引 进深 一 层 的 概念 和 方法 ， 所 以 ， 我 们 不 能 苛求 读者 在 
最 初 几 遍 就 能 把 节 中 彼 述 的 内 容 和 体现 的 思想 方法 全 部 读 异 ， 
但 是 希望 具有 不 同 程度 数学 知识 和 修养 的 数学 爱好 者 在 认真 读 
过 这 些 书 之 后 都 能 有 所 收获 ， 开 阔 上 限界， 增长 见识 ， 从 而 更 加 
认识 数学 ， 了 解数 学 ， 热 爱 数 学 和 走向 数学 。 
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